litellm — LiteLLM est une passerelle IA open-source et un SDK Python offrant une interface unifiée compatible OpenAI pour appeler plus de 100 fournisseurs de LLM différents.

LiteLLM est une passerelle IA open-source et un SDK Python offrant une interface unifiée compatible OpenAI pour appeler plus de 100 fournisseurs de LLM différents.

À propos du projet

LiteLLM simplifie l'intégration de multiples modèles de langage (LLM) en fournissant une interface unique pour interagir avec des fournisseurs tels qu'OpenAI, Anthropic, Gemini, Bedrock, Azure et bien d'autres. Il peut être utilisé comme SDK Python pour une intégration directe en bibliothèque ou déployé comme passerelle IA centralisée (serveur Proxy) pour un usage organisationnel. Les capacités clés incluent : - API unifiée : Une interface unique pour plus de 100 LLM, éliminant le besoin de SDK spécifiques aux fournisseurs. - Compatibilité OpenAI : Permet de changer de fournisseur de LLM sans réécrire le code de l'application. - Fonctionnalités de passerelle de production : Inclut la prise en charge des clés virtuelles, le suivi des dépenses, les garde-fous (guardrails), l'équilibrage de charge et un tableau de bord d'administration. - Support des agents A2A : Capacité d'invoquer des agents provenant de fournisseurs comme LangGraph, Vertex AI Agent Engine et Azure AI Foundry. - Intégration des outils MCP : Connecte les serveurs Model Context Protocol (MCP) à n'importe quel LLM via le SDK ou la passerelle. - Large support des points de terminaison : Prend en charge divers endpoints, notamment /chat/completions, /embeddings, /images, /audio et /rerank.