llm-router

LLM Router 是一款专为将 OpenAI 兼容格式的 API 请求跨不同 LLM 提供商进行路由而设计的服务器。它提供统一接口，并自动处理 OpenAI、Anthropic 和 Gemini 格式之间的请求与响应转换。 核心能力包括： - 多提供商支持：兼容 OpenAI、Anthropic 和 Gemini API 端点。 - 请求/响应转换：在支持的 API 标准之间自动翻译数据格式。 - 高级模型选择：支持使用完整 jq 表达式语法进行模型选择，允许根据请求体进行条件路由。 - 路由策略：实现轮询、随机和最少连接策略，并支持基于权重的分配。 - 错误处理：在模型故障时自动降低其权重以管理可用性。 - 配置管理：通过 YAML 文件进行管理，用户可在此定义模型列表、API 密钥、基础 URL 及路由组。