这个项目能做什么

ai-router 是一个全面的 Python 库，用于管理大型语言模型（LLM）API 交互。它提供统一的接口，可在 OpenAI、Anthropic、DeepSeek、Google Gemini 等多个提供商之间路由请求。主要功能包括： - 智能路由：实现 round-robin、weighted distribution 等策略，以及成本/延迟优化。包含自动重试、circuit breakers 和 semantic caching，提升可靠性和性能。 - RAG 管道：提供文档切分、嵌入生成、混合检索（BM25 + 向量）和 reranking 工具。 - Agent 框架：支持 ReAct agents、工具注册、多代理编排（顺序、并行、辩论）以及记忆管理。 - 评估与监控：内置延迟和吞吐量基准测试工具，并提供 BLEU、ROUGE、语义相似度等评分指标。 - API 服务器：基于 FastAPI 的服务器兼容 OpenAI /v1/chat/completions 接口，便于无缝切换提供商。 该工具套件面向生产环境，提供限流、全面的指标追踪，并可通过 Docker 或 CLI 轻松部署。