llm-router

LLM Router est un serveur proxy et une bibliothèque Python qui consolide plusieurs fournisseurs de Large Language Model (LLM) en un seul point de terminaison. Il permet aux utilisateurs d'interagir avec divers modèles sans modifier les clés API ou les bases de code en gérant les configurations via un fichier YAML. Les capacités clés incluent : - **Support Multi-Fournisseurs** : Intégration native avec 10 fournisseurs, dont Google, Cohere, Mistral, OpenRouter, Cerebras, Groq, Hugging Face, Kilo Code, llm7.io et NVIDIA NIM. - **Routage Intelligent** : Sélectionne automatiquement les modèles en fonction des capacités (vision, utilisation d'outils, etc.), de la taille de la fenêtre de contexte et des modes de qualité (qualité, rapide, économique ou code). - **Fonctionnalités de Fiabilité** : Implémente des tentatives de reconnexion avec backoff exponentiel, un basculement automatique vers des modèles alternatifs en cas d'échec, et une rotation des clés avec délais de refroidissement pour les clés limitées par le débit. - **Compatibilité OpenAI** : Inclut un serveur local qui expose une API compatible OpenAI, le rendant compatible avec des éditeurs tels que Void et Continue. - **Observabilité** : Journalise toutes les requêtes et réponses dans une base de données SQLite locale pour l'historique et l'audit. - **Utilisation Flexible** : Peut être utilisé comme serveur local autonome ou intégré directement dans des projets Python en tant que bibliothèque.