llm-gateway

Inja LLM Gateway 是一个轻量级、无依赖的 API 网关，专为大型语言模型提供商设计。它接受 OpenAI Chat Completions、Anthropic Messages 或原生 Gemini 方言的请求，并将其路由到任何配置的上游提供商——包括 OpenAI、Anthropic、Google、DeepSeek、xAI、Moonshot、OpenRouter、vLLM 等。同方言流量近乎原样传递；跨方言请求自动翻译，支持结构化输出、工具使用和思考块。 该网关完全无状态，没有数据库、会话或粘性路由，因此可以轻松扩展相同的副本。它作为 macOS、Linux 和 Windows 的单个静态二进制文件发布，并包含 Docker 和 Kubernetes 部署清单。唯一的运行时依赖是 gopkg.in/yaml.v3。 关键功能包括多提供商出口，支持四种提供商类型（openai、openai_compat、anthropic、google）、模型别名和路由、可选的边缘认证（使用共享密钥）、OAuth2 和服务账户令牌源，以及内置的操作员仪表板（位于 /ui）。用量计量通过 JSONL、异步 webhook、可选的 SQLite 或进程内 Go 钩子为每个代理请求发出一个事件。网关还支持嵌入、图像生成、视频作业、文本转语音、语音转文本、OpenAI Responses、Files、Batches、Moderations 和 Realtime WebSocket 会话（仅限同协议透传）。 配置是一个单一的 YAML 文件，支持环境变量覆盖。健康检查、Prometheus 指标、请求体大小限制和优雅关闭均已内置。该项目采用 AGPL-3.0 许可证。