multirouter-ai

MultiRouter AI는 여러 AI 제공업체 계정 전반에 걸쳐 채팅 완료 요청을 지능적으로 라우팅하는 단일 API 엔드포인트 역할을 합니다. 사용자는 Groq, Cerebras, Gemini와 같은 서비스의 무료 티어 API 키를 쌓아 사용할 수 있으며, 한 계정이 속도 제한(rate limit)에 도달하면 자동으로 페일오버됩니다. 이 시스템은 OpenAI API 사양과 완전히 호환되므로, 커스텀 OpenAI base URL을 지원하는 Cursor, Windsurf, Claude Code, Aider 등의 IDE에서 즉시 사용할 수 있습니다. 설정은 YAML 파일(`providers.yaml`)을 통해 관리되며, 여기서 사용자는 제공업체 인스턴스, API 키, 지원 모델 및 라우팅 우선순위를 정의합니다. 제공업체는 일반적으로 무료 티어부터 유료 티어 순으로 시도되며, 속도 제한이 만료되면 자동으로 쿨다운 및 재활성화됩니다. 두 가지 라우팅 전략을 사용할 수 있습니다. 각 제공업체를 모두 소진할 때까지 사용하는 'exhaust'(기본값)와, 특수 모델 이름인 `multirouter-auto`를 사용하여 활성 인스턴스에 요청을 균등하게 분배하는 'round-robin'입니다. 서버는 OpenAI 형식의 Server-Sent Events (SSE)를 통해 스트리밍 응답을 지원하며, `/v1/chat/completions`, `/v1/models`, `/health`와 같은 표준 엔드포인트를 제공합니다. Node.js 20+, Express 5 및 TypeScript 5.9 기반으로 실행되며, 내장된 속도 제한 및 Bearer 토큰 인증을 포함합니다. 또한 `openai-compatible` 제공업체 유형과 커스텀 `base_url`을 통해 로컬 또는 자체 호스팅 모델을 통합할 수 있습니다. 보안 모범 사례로는 git에서 `providers.yaml`을 무시하고 비밀 값에 대해 환경 변수 보간을 지원하는 것이 포함됩니다. 이 프로젝트는 MIT 라이선스로 제공되며, 클라이언트 애플리케이션을 수정하지 않고 여러 제공업체의 쿼터를 풀링하여 중단 없는 AI 액세스를 원하는 개발자를 위해 설계되었습니다.