litellm — LiteLLM — это AI Gateway с открытым исходным кодом и Python SDK, предоставляющий унифицированный интерфейс, совместимый с OpenAI, для работы с более чем 100 различными провайдерами LLM.

LiteLLM — это AI Gateway с открытым исходным кодом и Python SDK, предоставляющий унифицированный интерфейс, совместимый с OpenAI, для работы с более чем 100 различными провайдерами LLM.

Об этом проекте

LiteLLM упрощает интеграцию нескольких больших языковых моделей, предоставляя единый интерфейс для взаимодействия с такими провайдерами, как OpenAI, Anthropic, Gemini, Bedrock, Azure и многими другими. Его можно использовать как Python SDK для прямой интеграции в библиотеку или развернуть как централизованный AI Gateway (прокси-сервер) для использования внутри организации. Ключевые возможности включают: - Унифицированный API: единый интерфейс для более чем 100 LLM, устраняющий необходимость в использовании специфических SDK от каждого провайдера. - Совместимость с OpenAI: позволяет менять провайдеров LLM без переписывания кода приложения. - Функции Production Gateway: включает поддержку виртуальных ключей, отслеживание расходов, guardrails, балансировку нагрузки и панель администратора. - Поддержка A2A агентов: возможность вызова агентов от таких провайдеров, как LangGraph, Vertex AI Agent Engine и Azure AI Foundry. - Интеграция MCP Tools: подключение серверов Model Context Protocol (MCP) к любой LLM через SDK или Gateway. - Широкая поддержка эндпоинтов: поддержка различных эндпоинтов, включая /chat/completions, /embeddings, /images, /audio и /rerank.