프로젝트 소개

LLMRouter는 자체 호스팅 대형 언어 모델(LLM) API 게이트웨이로, 사용자가 Google, Groq, Mistral, 智谱AI, 알리클라우드 백련 등 여러 AI 서비스 제공업체를 로컬에서 통합 호출할 수 있게 해줍니다. 단일 OpenAI 호환 인터페이스를 통해 접근 가능합니다. 모든 키와 설정은 로컬 SQLite 데이터베이스에 암호화되어 저장되어 프라이버시를 보장합니다. 시스템은 자동 장애 조치(429/5xx 오류 시 모델 전환), 스마트 라우팅(model="auto" 최적 모델 자동 선택), 스트림 출력 및 도구 호출을 지원합니다. Web 관리 패널을 제공하여 키 관리, 라우팅 우선순위 조정, Playground 테스트를 할 수 있습니다. Windows/macOS/Linux에서 원클릭 배포를 지원하며, 유휴 메모리 사용량은 약 40MB로 개인 또는 소규모 팀에 적합합니다. 기술 아키텍처는 Express 백엔드와 React 프론트엔드를 기반으로 하며, 벤더 적응이 모듈화된 설계로 확장이 용이합니다.