cognigate

CogniGate 是一个开源的自托管 LLM 网关，旨在部署在应用程序与各种 AI 模型提供商之间。它允许应用程序使用单一的 OpenAI 兼容 API 密钥，而实际的提供商凭据则安全地保留在部署环境中。 核心能力包括： - OpenAI 兼容 API：与现有 SDK 集成，无需更改代码。 - 能力别名 (Capability Aliases)：使用如 `fast`、`balanced` 和 `best` 等别名来解析为特定模型，使客户端无需关注具体的模型版本。 - 备用链与熔断器 (Fallback Chains & Circuit Breakers)：实现有序的级联模型轮换，并针对 429/5xx 错误采用指数退避机制，以确保可靠性。 - 分租户配额：支持 Token 和消费上限，并提供用于规模测算的“观察”模式。 - 持久化用量计量：将所有请求记录在 PostgreSQL 中，以便按租户、模型或提供商进行分析。 系统架构由一个基于 Go 的 Gateway（用于请求处理）和一个基于 Java/Spring Boot 的 Analytics 引擎（用于持久化计量）组成。它支持任何实现 OpenAI 线缆格式 (wire format) 的提供商，包括 Together、Groq、Fireworks、vLLM、Ollama 和 Azure OpenAI。