AI Gateway 是一种智能路由基础设施,可根据意图、成本和提供商健康状况动态将 LLM 请求路由到最合适的模型。支持多租户管理、两级缓存、自动故障转移和可观测性,帮助生产环境降低 AI 成本并提升可靠性。
好开源,值得被发现。
发现优质开源项目,匿名提交开源项目,认领编辑你的开源项目。
带着好奇心,发现开源世界。
THE FIRST COLLECTIONOmniRoute是一个开源的MIT协议AI网关,提供单一本地端点访问352+AI提供商和1200+模型(包括Claude、GPT、Gemini、GLM、DeepSeek、Kimi和MiniMax,其中150+免费),它具有配额感知的自动回退和令牌压缩功能,可以节省15%-95%的令牌,并集成了Claude Code、Cursor、Cline等编码代理。
MultiRouter AI 是一个兼容 OpenAI 的网关,可将聊天请求在多个 AI 提供商之间进行路由,支持自动故障转移和负载均衡。通过 YAML 配置,它支持 Groq、Cerebras、Gemini、OpenAI 及自定义端点。
CoAI(原Chat Nio)是一个开源自托管平台,结合了面向消费者的AI聊天应用与OpenAI兼容的API网关,支持多提供商路由、订阅计费、管理后台及文件解析等功能。
一个专为 Cloudflare Workers AI 设计的零成本网关。通过多账号免费额度叠加、智能路由和熔断机制,将 Qwen3 等模型转化为标准 OpenAI API,支持 Cherry Studio 等客户端接入。
gateway是一款面向OpenAI的无头AI网关,支持安全的多用户访问、成本跟踪、速率限制和PII脱敏,且设置极简。
面向 SMBU 校园网的 AI API 网关与用户门户,基于 New API 二次开发,支持校园邮箱注册、图形验证码、模型市场、教程入口及反馈系统。
LiteLLM 是一个开源的 AI 网关和 Python SDK,为调用 100 多个不同的 LLM 提供商提供统一的 OpenAI 兼容接口。
本地 OpenAI 兼容 API 网关,支持多供应商路由、熔断保护、中文错误提示、可视化管理面板及原生桌面应用。
New API 是一个可自托管的 LLM 网关,聚合多个 AI 提供商,并在 OpenAI、Claude 和 Gemini API 格式之间进行转换,同时提供多用户认证、渠道路由、重试和基于用量的计费功能。
Switchboard 是一款本地优先的 AI 网关,在用户机器上完全运行,提供一个 OpenAI 兼容端点,将请求路由到 Groq、Cerebras、Google、OpenRouter、DeepSeek、Mistral、OpenAI 和 Anthropic 等 16 个不同 AI 提供商。基于实时因素(健康状态、延迟、成本、层级)智能选择最优提供商,优先使用免费层级并在失败时自动回退。所有路由决策均详细记录并解释。系统无需云账户或遥测数据,凭据采用 AES-256-GCM 本地加密。支持流式和非流式聊天补全、嵌入、图像生成、音频语音和转录、重新排序及审核端点。提供 Web 仪表板(localhost:7272)和 CLI 工具(sb),支持策略模拟、详细日志和使用报告。基于 Node.js 22.13+ 和 SQLite 构建,跨 Windows、macOS 和 Linux 一致运行。
Higress是一个基于Istio和Envoy构建的云原生AI原生API网关,具备Wasm插件扩展性、统一LLM提供商接入、MCP服务器托管及Kubernetes入口支持。
Hyperstrate Server 是一款自托管企业级 AI 网关,提供模型路由、提供者编排和生产级治理功能,适用于管理多租户 LLM 流量。
使用LiteLLM构建的LLM网关,通过OpenAI兼容API统一访问多个AI提供商,具备路由、故障转移、缓存、成本跟踪和安全防护功能。
Kong Gateway 是一款云原生、平台无关的 API、LLM 和 MCP 网关,提供基于插件的扩展能力,支持路由、负载均衡、身份认证及 AI 流量治理。
Apache APISIX是一个基于NGINX和etcd构建的动态、实时、高性能云原生API和AI网关,提供动态路由、插件热加载、多协议支持以及面向LLM工作负载的AI代理功能。