这个项目能做什么

AI Gateway 是一款开源工具，旨在通过单一的统一 API 简化对多个大语言模型 (LLM) 供应商的访问。它支持在 OpenAI、Gemini、Groq、Mistral 等供应商之间路由请求，包括通过 Ollama 运行的本地模型或用于测试的模拟响应。其核心功能包括自动重试、回退链、速率限制，以及最显著的硬性每月预算上限（一旦达到设定限制将拦截进一步支出）。该系统包含一个简单的英文成本仪表盘，用于显示当前用量和预测。安装过程通过 Docker Compose 简化，提供可选的简单模式（SQLite，无需 Redis）或全栈模式（Postgres + Redis）。其 Python 客户端同时提供同步和异步接口。安全默认设置在生产环境中禁用演示密钥和模拟供应商，除非明确允许。对于希望获得类似 LiteLLM 的灵活性且无需企业级复杂度的独立开发者和学生来说，这是一个理想的选择。