council-router

Council Router 是一款智能代理服务器，旨在通过单个兼容 OpenAI 的 API 端点，统一访问多个大语言模型 (LLM) 后端——包括 Ollama、OpenAI、Anthropic、Gemini 以及通过 LiteLLM 支持的 100 多个其他后端。它实现了在异构 LLM 服务器之间的无缝路由，具备基于优先级的选择、轮询负载均衡和自动模型回退链等功能。该系统会智能地优先选择已将请求模型加载到 VRAM 的后端，以最大限度地降低延迟。 一个突出的功能是“LLM Council”模式，它允许多个模型或人格并行讨论用户的查询，然后综合出最终答案——这在复杂决策或代码审查场景中非常有用。内置模板包括多样化分析、代码审查和辩论模式，并支持通过 YAML 自定义 Council。 所有响应可选择存储在压缩的 SQLite 中以便进行离线分析，包括中间思考 token。Prometheus 指标用于跟踪请求率、延迟、token 使用情况和后端健康状态，并可通过 Docker Compose 提供预配置的 Grafana 仪表板。该服务在提供 OpenAI 端点的同时，还公开了原生 Ollama 端点，使其与 Open WebUI 等工具兼容。 在安全性方面，推理端点默认不进行身份验证（旨在用于受信任的网络），而管理端点则需要 Bearer token。响应存储默认启用但不加密，因此应谨慎处理敏感提示词。 该项目使用 FastAPI 构建，运行在 Python 3.12+ 上，并包含完整的测试覆盖率（127 个通过的测试）。Docker Compose 提供了一个包含监控的即用堆栈。配置通过 YAML 管理，支持环境变量注入。开发工具包括 linting、格式化和测试脚本。