llmhub

LLMHub 是一款专为 OpenAI 兼容 API 设计的反向代理服务。它允许用户将多个上游 API 供应商聚合到单个入口点，并通过 YAML 配置文件管理身份验证和请求路由。 核心功能包括： - **供应商聚合**：支持多个上游供应商，可自定义基础 URL 和可选的 HTTP 代理设置。 - **API 密钥管理**：能够为下游用户定义自定义 API 密钥，并管理多个上游密钥以实现负载均衡。 - **灵活路由**：路由规则可根据模型名称或预定义的模型组将下游请求映射到特定供应商。 - **模型别名**：支持将简单的别名映射到复杂的原始模型名称。 - **可靠性**：针对失败的上游请求提供可配置的重试机制。