llm-router

LLM Router 是一个 FastAPI 应用程序，旨在作为多个 AI 后端的统一代理，同时保持与 OpenAI Chat Completions API 的完全兼容。它允许开发人员使用基于优先级的系统和自动故障转移机制，在包括 OpenAI、Cerebras、DeepInfra 以及本地 Ollama 实例在内的各种供应商之间路由请求。 核心能力包括： - 多后端路由：根据可用性和优先级在不同的 AI 服务之间无缝切换。 - OpenAI 兼容性：通过简单地更改基础 URL，即可作为现有基于 OpenAI 应用程序的直接替代方案。 - 弹性特性：如果主服务失败或达到速率限制，将实现向次级后端的自动故障转移。 - 流量管理：内置使用滑动窗口算法的速率限制系统，并支持使用多个 API 密钥进行身份验证。 - 监控与统计：提供用于健康检查、后端状态和使用指标的专用端点。 - 灵活配置：支持基于环境的设置或高级的基于 JSON 的路由规则。 对于希望通过多样化模型供应商来提高 AI 驱动应用程序可靠性，且无需更改代码库的开发人员来说，该工具尤为有用。