这个项目能做什么
Multi-Provider AI API Proxy 是一个 HTTP 代理服务器,旨在作为 Anthropic Claude API 的直接替代方案。它允许用户在保持 Anthropic API 格式的同时,将请求路由到 Groq、OpenRouter 和 Portkey 等各种提供商。
核心能力包括:
- **多提供商路由**:支持通过 Groq、OpenRouter 和 Portkey 进行路由,能够通过查询参数为每个请求选择提供商,或设置全局默认值。
- **API 转换**:在 Anthropic 和 OpenAI/Groq 格式之间进行无缝转换,包括对工具调用(tool calling)和复杂内容块的支持。
- **密钥管理**:在多个 API 密钥(每个提供商最多 10 个)之间实施轮询(round-robin)轮换,以优化吞吐量并避免限制。
- **智能速率限制**:检测特定提供商的速率限制(特别是解析 Groq 错误消息),并自动管理密钥恢复和等待时间。
- **可观测性**:提供实时状态端点,用于监控密钥健康状况、请求统计数据,以及具有多种日志级别的详细持久化日志。
- **集成**:通过环境变量配置 (`ANTHROPIC_BASE_URL`),可与兼容 Anthropic 的客户端集成,包括 Claude Code、Cursor IDE 和 Continue。
评论
0 评分人数达到10人后显示
登录后参与讨论。