bifrost

Bifrost 是一款 AI 网关，在众多模型提供商（包括 OpenAI、Anthropic、AWS Bedrock、Google Vertex、Azure、Cerebras、Cohere、Mistral、Ollama 和 Groq）前面提供单一的兼容 OpenAI 的 API。它可以通过 npx 或 Docker 在本地启动，并通过内置的 Web 界面、API 或配置文件进行配置。 README 中描述的核心能力： - 统一接口：为所有支持的提供商提供一个兼容 OpenAI 的端点。 - 可靠性：提供商和模型之间的自动回退，以及跨 API 密钥和提供商的负载均衡。 - 模型上下文协议（MCP）：让模型能够调用外部工具，如文件系统、网络搜索和数据库。 - 语义缓存：基于语义相似度缓存响应，以降低成本和延迟。 - 在通用接口后支持多模态和流式传输。 - 治理：虚拟密钥、用量跟踪、速率限制、面向团队和客户的分层预算管理。 - 可观测性：Prometheus 指标、分布式追踪和请求日志。 - 插件系统，包含用于治理、JSON 解析、日志、语义缓存、遥测、模拟和 Maxim 可观测性集成的模块。 - 企业功能，如集群、自定义插件、OIDC 用户配置和密钥管理。 部署选项包括 HTTP 网关（npx 或 Docker）、用于嵌入式使用的 Go SDK，以及无需更改代码即可直接替换 OpenAI、Anthropic 和 Google GenAI 的基础 URL。该仓库组织为 core、framework、transports、ui、plugins、docs 和 tests 目录。 README 报告了每秒 5,000 次请求的基准测试结果，声称增加的延迟很低且成功率为 100%，并附有完整基准测试文档的链接。该项目采用 Apache 2.0 许可。