llm-router

llm-router는 Claude와 같은 LLM API 사용 시 비용을 최적화하도록 설계된 경량 단일 바이너리 역방향 프록시입니다. 애플리케이션과 LLM 제공업체 사이에 위치하여 각 요청을 처리 가능한 가장 저렴한 모델로 지능적으로 라우팅합니다—예를 들어 간단한 쿼리는 Haiku, 중간 규모의 작업은 Sonnet, 복잡한 추론은 Opus로라우팅됩니다. 외부 임베딩 없이 Jaccard 유사도를 사용하는 시맨틱 캐싱, 동일한 동시 요청의 중복 제거, 종속성 추적 및 병렬 실행으로 정의된 다단계 에이전트 워크플로우 실행 기능을 포함합니다. 시스템은 백엔드 상태와 부하를 실시간으로 추적하여 성능 저하되거나 과부하 상태인 모델을 자동으로 회피합니다. 피드백 보정이 포함된 ML 기반 라우팅을 지원하며, 상세한 비용 추적 및 절약 보고서를 제공합니다. YAML을 통해 구성 가능하며, Anthropic, Ollama, vLLM 또는 모든 OpenAI 호환 백엔드와 함께 작동합니다. 7개의 연구 논문과 오픈소스 시스템에서 가져온 기술로 구축되었으며, 외부 종속성이 필요 없고 57개의 테스트를 포함합니다. API 지출을 절감하면서도 프로덕션 환경에서 성능과 복원력을 유지해야 하는 환경에 이상적입니다.