llm-gateway

LLM Gateway는 여러 대규모 언어 모델(LLM) 제공업체와의 상호작용을 간소화하기 위해 설계된 통합 프록시 서버입니다. 이 서버는 OpenAI, OpenRouter, Google Gemini 및 Ollama와 같은 로컬 인스턴스를 포함한 다양한 백엔드로 요청을 라우팅하는 단일 OpenAI 호환 엔드포인트를 제공합니다. 주요 기능으로는 기본 제공업체 실패 시 대체 제공업체를 시도하는 자동 폴백(fallback) 메커니즘이 있어 높은 가용성을 보장합니다. 또한, 게이트웨이는 API 키별 속도 제한을 구현하여 과도한 사용을 방지하며, 다양한 제공업체 전반의 총 요청 수, 성공률 및 토큰 소비량을 추적하기 위한 포괄적인 메트릭 엔드포인트를 제공합니다. Docker를 통해 쉽게 배포할 수 있도록 설계되었으며, 기본 URL을 업데이트하는 것만으로 기존 OpenAI 클라이언트 설정을 그대로 대체하여 사용할 수 있습니다. 지원되는 기능에는 채팅 완성(chat completions), 임베딩(embeddings), 모델 목록 조회가 포함되며, 폴백 체인과 분당 요청 수 제한을 설정할 수 있습니다.