Kong Gateway 是一款云原生、平台无关的 API、LLM 和 MCP 网关,提供基于插件的扩展能力,支持路由、负载均衡、身份认证及 AI 流量治理。
好开源,值得被发现。
发现优质开源项目,匿名提交开源项目,认领编辑你的开源项目。
带着好奇心,发现开源世界。
THE FIRST COLLECTIONOpenAI Relay是一个轻量级中继服务,基于Bun运行时构建,可根据模型前缀将API请求路由至各类OpenAI兼容后端。
llm-apipool是一个自托管工具,将40多个免费LLM API统一到一个OpenAI兼容端点。自动轮换密钥、处理速率限制、追踪使用情况,并支持CLI、TUI、代理和LangChain集成。
llm-budget-proxy 是一款轻量级 OpenAI API 反向代理,支持按密钥设置 Token 预算、速率限制、成本仪表盘以及自动模型降级功能。
轻量级 FastAPI 代理,转发 OpenAI Chat Completions 与 Embeddings API,支持多租户密钥映射、流式传输,并兼容官方 SDK,无需数据库。
Gemini Web2API 是一个本地代理服务器,将 OpenAI 风格的聊天请求转换为 Google Gemini Web API 调用。无需官方 API 密钥,使用浏览器导出的 cookies 和 xsrf 令牌进行认证。支持流式/非流式响应、函数调用及多种 Gemini 模型,具备速率限制处理与 CORS 支持。
OmniRoute是一个开源的MIT协议AI网关,提供单一本地端点访问352+AI提供商和1200+模型(包括Claude、GPT、Gemini、GLM、DeepSeek、Kimi和MiniMax,其中150+免费),它具有配额感知的自动回退和令牌压缩功能,可以节省15%-95%的令牌,并集成了Claude Code、Cursor、Cline等编码代理。
这是一个生产级且兼容 OpenAI 的智能 LLM 路由与回退代理,通过将简单查询路由至小语言模型 (SLM),而将复杂查询路由至前沿模型,从而优化 API 成本。
LiteLLM 是一个开源的 AI 网关和 Python SDK,为调用 100 多个不同的 LLM 提供商提供统一的 OpenAI 兼容接口。
本地 OpenAI 兼容 API 网关,支持多供应商路由、熔断保护、中文错误提示、可视化管理面板及原生桌面应用。
LLM Context Squeezer是基于FastAPI构建的本地API代理,通过对话历史压缩、代码冗余清理和语义缓存等技术降低LLM API成本与token消耗,支持OpenAI兼容接口直连集成。