llm-router

LLM Router 是一个即插即用的 OpenAI 兼容 API，旨在通过在 GLM、Kimi、Qwen 和 Doubao 等不同模型之间自动路由请求，来降低 LLM 的运营成本。通过使用模型标识符 "auto"，系统会根据任务类型选择模型：简单任务路由至 Doubao，均衡任务路由至 Qwen，而复杂的推理任务则路由至 Kimi 或 GLM。 核心能力包括： - 跨多种供应商的多模型路由。 - 成本优化以减少 API 支出。 - 兼容 OpenAI 的 API，无需大幅修改代码即可轻松集成。 - 处理故障的自动回退机制。 - 基于任务的智能模型选择。