unified-llm-engine

Unified LLM Engine 是一个 Python 库，抽象了对多个大型语言模型（LLM）提供商的交互，包括 OpenAI、Anthropic、Gemini、Azure、AWS Bedrock 以及 Ollama。它提供统一接口，使开发者无需更改代码即可切换或组合不同提供商。 主要功能包括：当一个提供商失败时自动进行提供商故障转移；实时成本与 Token 用量追踪；减少重复调用的智能响应缓存；支持实时输出的流式处理；面向高性能的异步优先设计。引擎根据模型可用性、负载和配置偏好智能路由请求。 用户可以通过环境变量初始化引擎以设置 API 密钥，并可选择启用缓存或设置默认模型。成本摘要可按模型单独查看，也可跨会话聚合。架构将核心路由逻辑与各提供商的具体实现分离，便于扩展。项目包含示例和测试代码，采用 MIT 许可证发布。对于需要韧性、成本控制或 LLM 集成中多提供商灵活性的应用而言，该项目是理想选择。