llm-apipool

llm-apipool est un outil auto-hébergé qui unifie l'accès à plus de 40 APIs de modèles de langage (LLM) en offre gratuite — dont Groq, Mistral, Cerebras, Google Gemini, OpenRouter, Hugging Face, GitHub et bien d'autres — derrière un seul point de terminaison compatible OpenAI (par ex. http://localhost:8000/v1). Il élimine la nécessité de gérer manuellement plusieurs clés API, SDK ou limites de débit. Le système fait automatiquement tourner les clés par fournisseur, applique des temps de refroidissement en cas de limitation de débit, et bascule vers des fournisseurs ou niveaux alternatifs. Il comprend une CLI pour l'installation et la gestion, une TUI interactive basée sur Textual pour le suivi en temps réel des clés et des logs d'audit, ainsi qu'un tableau de bord React avec analyses et paramètres. Prend en charge le streaming (SSE pour les fournisseurs compatibles), une configuration unifiée du niveau d'effort sur tous les modèles (faible/moyen/élevé), le suivi des abonnés, le pooling de connexions et le déploiement Docker avec vérifications de santé. S'intègre parfaitement avec LangChain via AggregatorChat, et fonctionne avec n'importe quel outil compatible OpenAI (Hermes Agent, Cursor, Continue.dev, etc.) en changeant simplement l'URL de base. Conçu pour les développeurs individuels et petites équipes souhaitant éviter les coûts API tout en maintenant une fiabilité de niveau production. Comporte 522 tests passing, des migrations Alembic et des guides de fournisseurs documentés. La feuille de route inclut le support des plugins, le streaming WebSocket, l'authentification multi-utilisateurs et le clustering distribué.