这个项目能做什么
此基于 Node.js 的代理层允许用户使用 OpenAI 兼容接口(/v1/chat/completions)将 AI 模型请求路由到多个提供商。其设计旨在确保 AI 部署的可靠性和灵活性。
主要功能包括:
- 多提供商故障转移:根据定义的优先级将同一模型的请求路由到多个提供商。
- 健康感知路由:实时跟踪提供商健康状况,以自动化故障转移和恢复流程。
- 安全配置:支持通过环境变量注入 API 密钥,避免硬编码密钥。
- 模型映射:使用 YAML 配置文件将特定模型映射到不同的提供商端点和 API 密钥。
- 本地管理 UI:包含一个可选的轻量级面板,用于管理模型-提供商映射。
- Edge 就绪设计:架构上支持迁移至 Cloudflare Workers 或 Vercel Edge 等边缘平台。
评论
0 评分人数达到10人后显示
登录后参与讨论。