llm-router

LLM Router는 여러 대규모 언어 모델(LLM) 제공업체와 API 키에 요청을 분산하도록 설계된 유연하고 효율적인 API 게이트웨이입니다. Go로 작성되었으며, OpenAI chat completions 엔드포인트를 즉시 대체하여 사용할 수 있습니다. 주요 기능으로는 사용량 기반의 지능형 부하 분산, 비용 최적화를 위한 가중치 기반 모델 선택, 그리고 OpenAI 및 OpenRouter와 같은 여러 기본 제공업체에 매핑되는 논리적 모델 그룹 정의 기능이 포함됩니다. Server-Sent Events(SSE)를 통한 전체 스트리밍, 응답 압축, 그리고 Time to First Token(TTFT) 및 초당 토큰 수와 같은 지표를 추적하는 상세한 성능 모니터링을 지원합니다. 또한 이 라우터는 중복성 확보 및 속도 제한 완화를 위한 API 키 관리를 처리하며, 보안 인증 계층과 OpenAI의 Responses API와의 호환성을 제공합니다.