omniroute

OmniRoute는 수백 개의 AI 제공업체와 모델에 대한 접근을 단일 로컬 엔드포인트 뒤에 통합하는 자체 호스팅 AI 게이트웨이입니다. MIT 라이선스에 따라 배포되며, 설치 후 즉시 작동하고 API 키나 가입이 필요 없습니다. ## 기능 OmniRoute는 Claude, GPT, Gemini, GLM, DeepSeek, Kimi, MiniMax를 포함한 352개 이상의 AI 제공업체와 1,200개 이상의 모델을 집계합니다. 이 중 150개 이상의 제공업체 티어가 무료이며, 월간 약 14.7억 개의 무료 토큰 풀을 보유하고 있습니다. 모든 제공업체는 OpenAI 호환 `/v1` 엔드포인트 뒤에 정규화되어, 호환되는 도구는 벤더별 SDK 없이 연결됩니다. ## 주요 기능 - **자동 폴백 라우팅**: 할당량 인식 라우터는 속도 제한이나 오류 발생 시 구독 → API 키 → 저비용 → 무료 순으로 4개 제공업체 티어 간 자동 폴백하여 워크플로우를 중단 없이 유지합니다. - **토큰 압축**: RTK 및 Caveman 스택 압축은 대상 워크로드에서 토큰 사용량을 15~95%(평균 약 89%) 절감하여 무료 할당량을 더 오래 유지합니다. - **19개 라우팅 전략**: 서킷 브레이커, 키 쿨다운, 모델 잠금 보호 기능이 포함된 유연한 요청 라우팅을 지원합니다. - **MCP 및 A2A 지원**: Model Context Protocol과 Agent-to-Agent 프로토콜을 네이티브로 통합합니다. - **로컬 우선**: 모든 요청은 `localhost:20128`을 통해 라우팅됩니다. 암호화 키는 AES-256-GCM을 사용하며, 어떤 제공업체 트래픽도 제3자 클라우드를 통해 터널링되지 않습니다. - **TLS 스텔스**: 선택적 프록시 수준 TLS 마스킹을 제공합니다. - **실시간 텔레메트리**: 연결된 모든 제공업체의 사용량, 할당량, 절약액, p95 지연시간을 실시간 대시보드로 추적합니다. - **가드레일 및 평가**: 프로덕션 등급 가드레일, 평가, 수천 개의 정적 테스트 선언을 지원합니다. ## 호환 도구 OmniRoute는 Claude Code, Codex, Cursor, OpenCode, Cline, GitHub Copilot 등 개발자 및 코딩 도구의 드롭인 백엔드로 설계되었습니다. 사전 연결된 키 없는 제공업체(OmniRoute Free)는 `auto` 모델 식별자를 사용하여 새로 설치 시 즉시 응답합니다. ## 배포 옵션 게이트웨이는 npm(`npm i -g omniroute`), Docker Hub, Electron 데스크톱 앱, PWA를 통해 제공되어 사용자가 실행 방식을 선택할 수 있습니다. Python, Node.js, PHP, cURL용 퀵스타트 스크립트가 제공됩니다. ## 아키텍처 Smart Router는 호출자와 제공업체 계층 사이에 위치하여 압축을 적용하고 할당량 가용성, 비용 티어, 라우팅 전략에 따라 제공업체를 선택합니다. 제공업체 키는 단일 구독을 공유하는 팀 간 공평 분배를 위해 풀링됩니다. 또한 13개 제공업체에 대한 조건 검토가 필요한 항목을 플래그 처리하는 terms-risk 카탈로그를 포함합니다. ## 커뮤니티 및 기여자 550명 이상의 기여자가 개발한 OmniRoute는 51개 언어로 번역되었습니다. Discord, Telegram, WhatsApp 그룹을 통한 지원 채널과 v3.9.0 LTS를 목표로 하는 공개 로드맵이 제공됩니다.