프로젝트 소개

Multi-Provider AI API Proxy는 Anthropic Claude API를 즉시 대체하도록 설계된 HTTP 프록시 서버입니다. 사용자는 Anthropic API 형식을 유지하면서 Groq, OpenRouter, Portkey와 같은 다양한 제공업체로 요청을 라우팅할 수 있습니다. 주요 기능은 다음과 같습니다: - **멀티 제공업체 라우팅**: Groq, OpenRouter, Portkey를 통한 라우팅을 지원하며, 쿼리 매개변수를 통해 요청별로 제공업체를 선택하거나 전역 기본값을 설정할 수 있습니다. - **API 변환**: 도구 호출(tool calling) 및 복잡한 콘텐츠 블록 지원을 포함하여 Anthropic과 OpenAI/Groq 형식 간의 원활한 변환을 수행합니다. - **키 관리**: 처리량을 최적화하고 제한을 피하기 위해 여러 API 키(제공업체당 최대 10개)에 대해 라운드 로빈 회전 방식을 구현합니다. - **지능형 속도 제한**: 제공업체별 속도 제한을 감지하고(특히 Groq 오류 메시지 파싱), 키 복구 및 대기 시간을 자동으로 관리합니다. - **관측 가능성**: 키 상태, 요청 통계 모니터링을 위한 실시간 상태 엔드포인트와 다양한 로그 레벨의 상세한 지속성 로깅을 제공합니다. - **통합**: 환경 변수 설정(`ANTHROPIC_BASE_URL`)을 통해 Claude Code, Cursor IDE, Continue를 포함한 Anthropic 호환 클라이언트와 호환됩니다.