오픈 소스. 새로운 가능성.

여러 LLM 공급업체를 위한 고성능 통합 API 게이트웨이로, 지능형 라우팅, 속도 제한, 스트리밍 지원을 갖추고 있습니다.

RouteTok은 OpenAI 및 Anthropic 호환 API를 갖춘 로컬 우선 LLM 추론 라우터로, 건강 상태 기반 페일오버, 다중 제공업체 카탈로그, 운영 대시보드, 모델 샌드박스를 제공합니다.

Switchboard는 로컬에서 실행되는 AI 게이트웨이로, 16개 제공업체 간 요청을 라우팅하며免費 티어 우선, 자동 폴백, 상세 결정 로그를 제공합니다. 클라우드 계정 없이 작동합니다.

Claude Code를 위한 고가용성 프록시로, 자동フェ일오버, 서킷 브레이킹, 무중단 구성 새로고침 기능을 갖춘 5개 중국 AI 제공업체 간 요청 라우팅을 지원한다.

llm-apipool은 40개 이상 무료 LLM API를 단일 OpenAI 호환 엔드포인트로 집계합니다. 키 자동 회전,_RATE_ 제한 처리, 사용량 추적, CLI/TUI/프록시/LangChain 통합을 지원합니다.