llm-router

LLM-Router是一款面向生产环境的高质量网关，旨在将各种大型语言模型（LLM）提供商整合到一个统一的OpenAI兼容API中。它允许开发者在OpenAI、DeepSeek和Anthropic等不同提供商之间切换，或使用Ollama等本地模型，而无需更改客户端代码。 该系统基于异步架构构建，具备连接池、请求缓存以及通过服务器发送事件（SSE）实现的实时响应流式传输功能。关键的企业级特性包括API密钥认证、速率限制、请求验证和动态配置热重载。 在监控与维护方面，系统提供内置健康检查、Prometheus指标以及结构化日志功能。部署可通过Docker和Kubernetes清单简化，适用于高负载的生产环境。