elygate

Bifrost 是一款高性能 AI 网关，旨在通过单一的 OpenAI 兼容 API 统一接入超过 23 家 AI 提供商——包括 OpenAI、Anthropic、AWS Bedrock、Google Vertex、Azure 等。它利用 Bun 和 PostgreSQL 18 消除对 Redis 的依赖，提供语义缓存、O(1) 计费、自动分区和自动故障转移等功能。基准测试显示，在 5k RPS 的负载下，每次请求仅增加 11 微秒的开销，成功率 100%，队列等待时间低于一微秒。 部署极为简便：用户可通过 NPX 或 Docker 在不到一分钟内在本地启动，然后通过内置 Web UI 进行配置。它支持 OpenAI、Anthropic 和 Google GenAI SDK 的即用型替换，只需一行 URL 变更即可切换。 高级功能包括用于外部工具集成的 Model Context Protocol（MCP）、多模态支持（文本、图像、音频）、自定义插件、基于虚拟密钥的治理与预算管控、OIDC 用户配置以及通过 Prometheus 和分布式追踪实现的观测能力。 架构采用模块化设计，包含提供商适配、配置存储、HTTP 传输层、Web UI 和可扩展插件等组件。企业部署可解锁集群化、自适应负载均衡、安全护栏和密钥管理等功能。文档涵盖安装设置、与 LangChain 和 LiteLLM 等框架的集成指南，以及性能基准和贡献规范。项目由 Maxim 构建，采用 Apache 2.0 许可证开源。