llm-router

这是一个本地确定性 LLM 路由代理，它接收 OpenAI 和 Anthropic API 请求，并根据可配置的基于规则的评分将其路由到最佳可用模型——无需随机性，也不需要 LLM 参与决策。它支持多个后端，包括 OpenRouter（云端元提供商）、oMLX（本地 Apple Silicon 模型）、Ollama 以及 OpenAI、Groq、Gemini 等直接云提供商。系统使用一个四阶段专家系统来评估每个请求：配置文件解析、硬过滤（上下文、模态、隐私、价格上限）、加权评分（成本、延迟、上下文余量、偏好、质量）以及提供商特定的标志注入。用户可以从六个内置配置文件（例如：廉价、快速、私密、智能、本地）中选择，或通过配置定义自定义配置文件。可以通过请求头或正文字段进行单次请求引导。该代理包含一个 Web 界面，用于聊天操场、模型目录、路由解释、使用统计和日志；此外还提供一个原生 macOS 菜单栏管理应用用于 GUI 配置。它通过按排名列表进行回退来处理上游错误，并直接流式传输 SSE 响应。功能包括自动 OpenRouter 密钥轮换、秘密脱敏 (DLP)、API 密钥的配置文件绑定，以及通过 Artificial Analysis 进行质量评分。提供 Docker 支持，具有持久化配置和 SQLite 历史记录。不支持热加载——更改配置后需要重启。使用 Rust 构建，具有用于配置、核心逻辑、提供商和管理工具的模块化 crate。