free-llm-router

Free LLM Router est une bibliothèque Python et un outil CLI qui permet aux utilisateurs d'acheminer des requêtes entre plusieurs API LLM gratuites, tout en gérant les clés, découvrant les modèles disponibles et appliquant des règles de sécurité économique. Il prend en charge des fournisseurs tels qu'OpenRouter, Gemini, Groq et d'autres — certains nécessitant une confirmation manuelle du statut de l'offre gratuite. L'outil permet une configuration via des fichiers TOML, un stockage sécurisé des clés (fichiers ou variables d'environnement) et une bascule automatique lorsque les modèles sont indisponibles. Les utilisateurs peuvent lister, rechercher et discuter avec les modèles via le CLI ou des clients Python async/sync. Les fonctionnalités de sécurité incluent une option explicite pour les modèles d'essai/payants, un regroupement par quota pour éviter les limitations de débit, et aucun basculement silencieux vers les offres payantes. Le développement comprend des tests, un linting et des optimisations de vitesse en option. La documentation couvre la configuration spécifique à chaque fournisseur, l'architecture et des exemples de configuration complets. Sous licence MIT.