cognigate

CogniGate est une passerelle LLM open-source et auto-hébergée conçue pour s'interposer entre les applications et divers fournisseurs de modèles d'IA. Elle permet aux applications d'utiliser une seule clé API compatible OpenAI, tandis que les identifiants réels du fournisseur restent sécurisés au sein du déploiement. Les capacités clés incluent : - API compatible OpenAI : S'intègre aux SDK existants sans nécessiter de modifications de code. - Alias de capacités : Utilise des alias tels que `fast`, `balanced` et `best` pour résoudre vers des modèles spécifiques, permettant aux clients de rester agnostiques vis-à-vis des versions de modèles spécifiques. - Chaînes de repli (Fallback Chains) et coupe-circuits (Circuit Breakers) : Implémente des cascades ordonnées pour la rotation des modèles et un backoff exponentiel pour les erreurs 429/5xx afin de garantir la fiabilité. - Quotas par tenant : Prend en charge des plafonds de jetons et de dépenses avec un mode « observe » pour le dimensionnement. - Mesure d'utilisation durable : Enregistre toutes les requêtes dans PostgreSQL pour des analyses par tenant, modèle ou fournisseur. L'architecture du système se compose d'une passerelle basée sur Go pour la gestion des requêtes et d'un moteur d'analyse Java/Spring Boot pour la mesure durable. Elle prend en charge tout fournisseur implémentant le format filaire OpenAI, notamment Together, Groq, Fireworks, vLLM, Ollama et Azure OpenAI.