llm-gateway

LLM Gateway 是一个统一的代理服务器，旨在简化与多个大语言模型 (LLM) 提供商的交互。它提供一个单一的、兼容 OpenAI 的端点，将请求路由到包括 OpenAI、OpenRouter、Google Gemini 以及 Ollama 等本地实例在内的各种后端。其核心能力包括自动回退机制，在主提供商失败时尝试备用提供商，从而确保高可用性。该网关还实现了基于 API 密钥的速率限制以防止过度使用，并提供全面的指标端点，用于跟踪不同提供商的总请求数、成功率和 Token 消耗。它设计为可通过 Docker 轻松部署，只需更新基础 URL，即可作为现有 OpenAI 客户端配置的直接替代方案。支持的功能包括聊天补全 (chat completions)、嵌入 (embeddings) 和模型列表，并支持可配置的回退链和每分钟请求数限制。