这个项目能做什么

LLM Router 是一个灵活且高效的 API 网关，旨在将请求分发到多个大语言模型 (LLM) 供应商和 API 密钥。它使用 Go 语言编写，可作为 OpenAI chat completions 端点的直接替代方案。其核心能力包括基于使用情况的智能负载均衡、用于成本优化的加权模型选择，以及定义逻辑模型组的能力，这些组可映射到 OpenAI 和 OpenRouter 等多个底层供应商。它支持通过 Server-Sent Events (SSE) 进行完整的流式传输、响应压缩以及详细的性能监控，可跟踪首个 Token 时间 (TTFT) 和每秒 Token 数等指标。该路由器还处理用于冗余和缓解速率限制的 API 密钥管理，提供安全的身份验证层，并与 OpenAI 的 Responses API 兼容。