litellm — LiteLLM é um AI Gateway de código aberto e SDK Python que fornece uma interface unificada compatível com OpenAI para chamar mais de 100 provedores de LLM diferentes.

LiteLLM é um AI Gateway de código aberto e SDK Python que fornece uma interface unificada compatível com OpenAI para chamar mais de 100 provedores de LLM diferentes.

Sobre o projeto

O LiteLLM simplifica a integração de múltiplos Modelos de Linguagem de Grande Porte fornecendo uma interface única para interagir com provedores como OpenAI, Anthropic, Gemini, Bedrock, Azure e muitos outros. Ele pode ser utilizado como um SDK Python para integração direta de biblioteca ou implantado como um AI Gateway centralizado (Proxy Server) para uso organizacional. As principais capacidades incluem: - API Unificada: Uma interface única para mais de 100 LLMs, eliminando a necessidade de SDKs específicos de cada provedor. - Compatibilidade com OpenAI: Permite a troca de provedores de LLM sem a necessidade de reescrever o código da aplicação. - Recursos de Gateway de Produção: Inclui suporte para chaves virtuais, rastreamento de gastos, guardrails, balanceamento de carga e um painel de administração. - Suporte a Agentes A2A: Capacidade de invocar agentes de provedores como LangGraph, Vertex AI Agent Engine e Azure AI Foundry. - Integração de Ferramentas MCP: Conecta servidores Model Context Protocol (MCP) a qualquer LLM via SDK ou Gateway. - Amplo Suporte de Endpoints: Suporta vários endpoints, incluindo /chat/completions, /embeddings, /images, /audio e /rerank.