llm-failover-proxy

llm-failover-proxy 提供一个本地单一端点（兼容 OpenAI），用于管理按优先级排列的 LLM 提供商链。如果主模型因速率限制、错误或超时而失效，代理会在不打断应用的情况下，悄然切换到链中的下一个可用模型。 主要功能包括： - 并行竞速：如果首选模型响应缓慢（默认 5 秒），代理会并行请求下一个模型，并接受第一个可用的答案，以降低延迟。 - 模型列表：支持多个具名列表，以满足不同场景需求，例如为聊天和向量嵌入分别配置独立链。 - 提供商管理：内置终端 UI，可配置 API 密钥、管理模型优先级并监控性能统计。 - 健康监控：提供 /health、/stats 等端点，用于检查服务存活状态并跟踪各模型的成功/失败率。 - 后台运行：可作为后台服务安装，在 Windows、macOS、Linux 系统登录时自动启动。 - 兼容性：通过直接转发，支持流式输出、工具/函数调用、视觉以及 JSON 模式。