llm_router

Azure OpenAI Proxy 是一个路由器，旨在将各种 LLM API 版本适配为统一的 OpenAI 兼容接口。它在客户端和 Azure OpenAI 实例之间提供了一个管理层，以确保高可用性和受控的使用。 关键能力包括： - **路由与负载均衡**：支持多个 Azure OpenAI 实例，路由策略包括故障转移、加权和轮询。 - **流量控制**：基于每分钟 Token 数 (TPM) 实现自动速率限制。 - **实例管理**：提供一套完整的 API 端点，用于添加、更新、删除和验证实例，以及监控其健康状况和性能指标。 - **配置灵活性**：采用分层配置系统（YAML、环境变量和 SQLite），支持无需重启服务的热加载。 - **持久化与可靠性**：利用 SQLite 进行状态管理和配置持久化，包括版本历史、回滚能力，以及用于备份和健康检查的专用维护工具。 - **API 兼容性**：支持用于聊天补全 (chat completions)、补全 (completions) 和嵌入 (embeddings) 的标准 OpenAI 端点。