À propos du projet

AI Gateway est un outil open-source conçu pour simplifier l'accès à plusieurs fournisseurs de grands modèles de langage (LLM) via une API unique et unifiée. Il prend en charge le routage des requêtes entre des fournisseurs tels qu'OpenAI, Gemini, Groq, Mistral et bien d'autres — y compris des modèles locaux via Ollama ou des réponses simulées pour les tests. Les fonctionnalités clés incluent les tentatives automatiques, les chaînes de repli (fallback), la limitation du débit et, plus notablement, des plafonds budgétaires mensuels stricts qui bloquent toute dépense supplémentaire une fois qu'une limite définie est atteinte. Le système comprend un tableau de bord des coûts en langage clair affichant l'utilisation actuelle et les projections. L'installation est simplifiée via Docker Compose avec un mode simple optionnel (SQLite, sans Redis) ou une pile complète (Postgres + Redis). Un client Python propose des interfaces synchrones et asynchrones. Par défaut, la sécurité désactive les clés de démonstration et les fournisseurs simulés en production, sauf autorisation explicite. Idéal pour les développeurs solos et les étudiants qui souhaitent une flexibilité de style LiteLLM sans la complexité d'une solution d'entreprise.