llm-router

LLM Router는 OpenAI Chat Completions API와 완전한 호환성을 유지하면서 여러 AI 백엔드를 위한 통합 프록시 역할을 하도록 설계된 FastAPI 애플리케이션입니다. 개발자는 우선순위 기반 시스템과 자동 페일오버를 통해 OpenAI, Cerebras, DeepInfra 및 로컬 Ollama 인스턴스를 포함한 다양한 제공업체 간에 요청을 라우팅할 수 있습니다. 주요 기능은 다음과 같습니다: - 멀티 백엔드 라우팅: 가용성과 우선순위에 따라 서로 다른 AI 서비스 간에 원활하게 전환합니다. - OpenAI 호환성: 기본 URL을 변경하는 것만으로 기존 OpenAI 기반 애플리케이션을 대체하여 사용할 수 있습니다. - 회복력 기능: 기본 서비스가 실패하거나 속도 제한에 도달할 경우 보조 백엔드로 자동 페일오버를 구현합니다. - 트래픽 관리: 슬라이딩 윈도우 알고리즘을 사용하는 내장 속도 제한 시스템을 갖추고 있으며 인증을 위한 여러 API 키를 지원합니다. - 모니터링 및 통계: 상태 확인, 백엔드 상태 및 사용량 메트릭을 위한 전용 엔드포인트를 제공합니다. - 유연한 구성: 환경 기반 설정 또는 고급 JSON 기반 라우팅 규칙을 지원합니다. 이 도구는 코드베이스를 변경하지 않고 모델 제공업체를 다양화하여 AI 기반 애플리케이션의 신뢰성을 높이려는 개발자에게 특히 유용합니다.