llm-router

LLM-Router est une passerelle prête pour la production conçue pour consolider divers fournisseurs de modèles de langue large (LLM) en une API Unifiée compatible OpenAI. Elle permet aux développeurs de basculer entre des fournisseurs tels qu'OpenAI, DeepSeek et Anthropic, ou des modèles locaux comme Ollama, sans modifier leur code client. Le système est bâti sur une architecture asynchrone intégrant le mise en pool de connexions, la mise en cache des requêtes et le streaming de réponses en temps réel via les événements envoyés par le serveur (SSE). Les fonctionnalités clés pour les entreprises incluent l'authentification par clé API, la limitation du débit, la validation des requêtes et le rechargement à chaud de la configuration dynamique. Pour la supervision et la maintenance, il offre des vérifications de santé intégrées, des métriques Prometheus et une journalisation structurée. Le déploiement est simplifié grâce aux manifestes Docker et Kubernetes, ce qui le rend adapté aux environnements de production à forte charge.