litellm

LiteLLM 通过提供单一接口与 OpenAI、Anthropic、Gemini、Bedrock、Azure 等提供商进行交互，简化了多个大语言模型的集成。它既可以用作 Python SDK 进行直接库集成，也可以部署为组织使用的集中式 AI 网关（代理服务器）。 核心能力包括： - 统一 API：为 100 多个 LLM 提供单一接口，无需使用特定提供商的 SDK。 - OpenAI 兼容性：允许在不重写应用程序代码的情况下更换 LLM 提供商。 - 生产级网关功能：包括对虚拟密钥、支出跟踪、护栏（guardrails）、负载均衡和管理仪表盘的支持。 - A2A Agent 支持：能够调用来自 LangGraph、Vertex AI Agent Engine 和 Azure AI Foundry 等提供商的 Agent。 - MCP 工具集成：通过 SDK 或网关将 Model Context Protocol (MCP) 服务器连接到任何 LLM。 - 广泛的端点支持：支持包括 /chat/completions、/embeddings、/images、/audio 和 /rerank 在内的各种端点。