litellm — LiteLLM es un AI Gateway de código abierto y un SDK de Python que proporciona una interfaz unificada compatible con OpenAI para llamar a más de 100 proveedores de LLM diferentes.

LiteLLM es un AI Gateway de código abierto y un SDK de Python que proporciona una interfaz unificada compatible con OpenAI para llamar a más de 100 proveedores de LLM diferentes.

Sobre el proyecto

LiteLLM simplifica la integración de múltiples Modelos de Lenguaje Extensos al proporcionar una interfaz única para interactuar con proveedores como OpenAI, Anthropic, Gemini, Bedrock, Azure y muchos otros. Puede utilizarse como un SDK de Python para la integración directa de librerías o desplegarse como un AI Gateway centralizado (Proxy Server) para uso organizacional. Las capacidades clave incluyen: - API Unificada: Una interfaz única para más de 100 LLMs, eliminando la necesidad de SDKs específicos de cada proveedor. - Compatibilidad con OpenAI: Permite intercambiar proveedores de LLM sin reescribir el código de la aplicación. - Funciones de Gateway de Producción: Incluye soporte para claves virtuales, seguimiento de gastos, guardrails, balanceo de carga y un panel de administración. - Soporte para Agentes A2A: Capacidad de invocar agentes de proveedores como LangGraph, Vertex AI Agent Engine y Azure AI Foundry. - Integración de Herramientas MCP: Conecta servidores de Model Context Protocol (MCP) a cualquier LLM a través del SDK o el Gateway. - Amplio Soporte de Endpoints: Soporta varios endpoints incluyendo /chat/completions, /embeddings, /images, /audio y /rerank.