À propos du projet

Ce projet démontre la construction d'une passerelle LLM (LLM Gateway) à l'aide de LiteLLM et LangChain, permettant un accès unifié à plusieurs fournisseurs d'IA (OpenAI, Groq, etc.) via une seule API compatible OpenAI. Il inclut le routage intelligent des modèles, la bascule automatique, la répartition de charge, le suivi des coûts, la mise en cache, l'observabilité et des garde-fous côté entrée tels que la détection et la réduction des données personnelles (PII) ainsi que le blocage des injections de prompt. L'implémentation est livrée sous forme de notebook Jupyter exécutable qui parcourt chaque concept étape par étape, depuis les appels API unifiés de base jusqu'à la configuration d'un serveur proxy prêt pour la production à l'aide de config.yaml. L'intégration avec LangChain chains se fait de manière transparente et le déploiement derrière une infrastructure autoscaling est pris en charge. Les bonnes pratiques recommandées comprennent : la mise en cache avec Redis, les limites de débit par utilisateur, la journalisation vers des backends d'observabilité et la configuration versionnée. La passerelle abstrait les SDK spécifiques à chaque fournisseur, permettant aux équipes de changer de modèle ou de fournisseur sans modifier le code, tout en centralisant les contrôles de coût, de latence et de sécurité.