unified-llm-engine

L'Unified LLM Engine est une bibliothèque Python qui abstract les interactions avec plusieurs fournisseurs de grands modèles de langage (LLM), dont OpenAI, Anthropic, Gemini, Azure, AWS Bedrock et Ollama. Il offre une interface unifiée permettant aux développeurs de changer ou combiner des fournisseurs sans modifier le code. Les fonctionnalités clés incluent des basculements automatiques entre fournisseurs en cas d'échec, un suivi en temps réel des coûts et de l'utilisation des tokens, un cache intelligent des réponses pour réduire les appels redondants, un support du streaming pour les sorties en temps réel, et une conception asynchrone pour des performances élevées. Le moteur route intelligemment les requêtes en fonction de la disponibilité des modèles, de la charge et des préférences configurées. Les utilisateurs peuvent initialiser le moteur avec des variables d'environnement pour les clés API et activer optionnellement le cache ou définir des modèles par défaut. Des résumés de coûts sont disponibles par modèle et agrégés sur l'ensemble des sessions. L'architecture sépare la logique de routage centrale des implémentations individuels des fournisseurs, ce qui la rend extensible. Des exemples et des tests sont inclus, et le projet est sous licence MIT. Idéal pour les applications nécessitant de la résilience, un contrôle des coûts ou une flexibilité multi-fournisseurs dans les intégrations LLM.