프로젝트 소개

LLM-Router는 다양한 대형 언어 모델(LLM) 제공업체를 통합적이고 OpenAI 호환 API로 모아주는 프로덕션 레벨의 게이트웨이입니다. 이를 통해 개발자는 클라이언트 측 코드를 변경하지 않고도 OpenAI, DeepSeek, Anthropic과 같은 제공업체 간을 전환하거나 Ollama와 같은 로컬 모델을 사용할 수 있습니다.该系统采用异步架构构建，具备连接池、请求缓存以及通过服务器发送事件(SSE)实现的实时响应 스트리밍功能。关键企业级特性包括API 키 인증, rate limiting, 요청 검증 및 동적 구성 핫 리로딩입니다. 모니터링 및 유지보수를 위해 내장형 건강 검사, Prometheus 메트릭 및 구조화된 로깅을 제공합니다. Docker 및 Kubernetes 매니페스트를 통한 배포가 간편하여 높은 부하 환경의 프로덕션에 적합합니다.