ai-gateway

AI Gateway est une passerelle API légère et auto-hébergeable conçue pour être compatible avec l'interface d'OpenAI. Elle permet aux utilisateurs de définir des routes mappées à des noms de modèles spécifiques utilisés par leurs applications, puis tente les requêtes à travers les fournisseurs configurés en séquence jusqu'à ce que l'une d'elles réussisse — aidant ainsi à réduire les échecs dus aux limites de débit ou aux pannes. Elle prend en charge le déploiement Docker, les services systemd et les builds binaires locaux. La configuration est gérée via YAML avec substitution de variables d'environnement, permettant une configuration flexible des fournisseurs (par exemple, Cerebras, OpenRouter) et des délais d'expiration par route. Elle inclut des adaptateurs de requêtes pour des corrections de compatibilité (comme l'assouplissement de tool_choice ou l'injection de schémas JSON), la rotation des points de terminaison en cas d'erreurs transitoires et des points de terminaison de diagnostic. L'authentification utilise des clés API ; la télémétrie via OTLP/HTTP est optionnelle. Les paramètres de sécurité par défaut incluent l'exécution non-root et des journaux caviardés. Idéal pour les développeurs intégrant des LLM dans des applications comme n8n tout en maintenant la résilience et le contrôle sur les basculements de fournisseurs.