llm-router

LLM Router는 서로 다른 LLM 제공업체 간에 OpenAI 호환 API 요청을 라우팅하기 위해 설계된 서버입니다. 통합 인터페이스를 제공하며 OpenAI, Anthropic, Gemini 간 요청 및 응답 변환을 처리합니다. 주요 기능: - 멀티 제공업체 지원: OpenAI, Anthropic, Gemini API 엔드포인트와 호환됩니다. - 요청/응답 변환: 지원되는 API 표준 간 데이터 형식을 자동으로 변환합니다. - 고급 모델 선택: 전체 jq 표현식 구문을 사용하여 요청 본문 기준으로 조건부 라우팅이 가능한 모델 선택을 지원합니다. - 라우팅 전략: 가중치 기반 분배 방식의 라운드 로빈, 랜덤, least-connection 전략을 구현합니다. - 오류 처리: 실패 시 모델의 가중치를 자동으로 낮춰 가용성을 관리합니다. - 구성: YAML 파일을 통해 모델 목록, API 키, 기본 URL, 라우팅 그룹을 정의할 수 있습니다.