ai-gateway

AI Gateway 是一种专为生产环境优化 LLM 使用的智能路由基础设施。它根据意图分类、成本效益和实时提供商健康指标，动态将每个请求路由到最合适的模型。系统通过将简单查询导向更便宜的模型来防止过度付费，同时将强大的推理模型保留给复杂任务。 该项目基于 Node.js 和 Express 构建，与 Groq 和 Google Gemini 等提供商集成，使用本地 BGE 嵌入进行意图检测或托管替代方案。 核心功能包括：带每日配额的多租户 API 密钥管理、两级缓存（精确匹配 + 语义）、提供商间自动故障转移，以及从廉价模型到推理模型的基于置信度的升级。 健康感知选择使用 Welford 算法跟踪每个模型的延迟和故障率，实现动态重路由。通过显示缓存命中率、延迟和每租户使用情况的 admin 端点内置可观测性。Redis 用于持久化和缓存，开发环境则提供内存回退。 架构模块化、可测试，可在 Koyeb 等平台配合 Upstash Redis 部署。它不是聊天机器人或单模型包装器，而是一个增强可靠性、降低成本并提供 AI 模型操作全面可见性的控制平面。适合需要在生产环境中管理多个 LLM 的团队，提供智能路由、弹性和租户级控制，无需构建自定义基础设施。