ai-gateway

L'AI Gateway est une infrastructure de routage intelligent conçue pour optimiser l'utilisation des LLM dans les environnements de production. Elle distribue dynamiquement chaque requête vers le modèle le plus adapté en fonction de la classification de l'intention, de l'efficacité coûts et des indicateurs de santé des fournisseurs en temps réel. Le système évite de surpayer pour des requêtes simples en les dirigeant vers des modèles moins coûteux, tout en réservant les modèles de raisonnement puissants pour les tâches complexes. Développé avec Node.js et Express, il s'intègre à des fournisseurs tels que Groq et Google Gemini, en utilisant des embeddings BGE locaux pour la détection des intentions ou des alternatives hébergées. Ses fonctionnalités clés incluent la gestion multi-locataire des clés API avec quotas quotidiens, la mise en cache à deux niveaux (exacte + sémantique), la basculement automatique entre fournisseurs et l'escalade basée sur le niveau de confiance, des modèles économiques vers les modèles de raisonnement. La sélection sensible à l'état de santé utilise l'algorithme de Welford pour suivre la latence et les taux d'échec par modèle, permettant un reroutage dynamique. L'observabilité est intégrée via des points de terminaison administrateur affichant les taux de succès du cache, la latence et l'usage par locataire. Redis est utilisé pour la persistance et le caching, avec un fallback en mémoire pour le développement. L'architecture est modulaire, testable et déployable sur des plateformes comme Koyeb avec Upstash Redis. Bien qu'il ne s'agisse ni d'un chatbot ni d'un wrapper mono-modèle, il sert de plan de contrôle qui améliore la fiabilité, réduit les coûts et fournit une visibilité complète sur les opérations des modèles IA. Idéal pour les équipes gérant plusieurs LLM en production et ayant besoin de routage intelligent, de résilience et de contrôles au niveau des locataires sans construire d'infrastructure personnalisée.