llm-budget-proxy

llm-budget-proxy est un reverse proxy spécialisé conçu pour gérer l'utilisation de l'API OpenAI. Il offre un contrôle granulaire de la consommation de l'API via des budgets de jetons par clé (quotidiens ou mensuels) et une limitation du débit (RPM/TPM). Ses fonctionnalités clés incluent un tableau de bord des coûts intégré pour surveiller les dépenses, une mise en cache des réponses par correspondance exacte pour réduire les coûts, et une fonction de déclassement de modèle qui bascule automatiquement vers des modèles moins coûteux lorsque les seuils budgétaires sont atteints. Le système est développé avec TypeScript et utilise SQLite pour la persistance des données, ce qui facilite son déploiement sous forme de conteneur Docker unique. Il prend également en charge les webhooks pour les alertes budgétaires et fournit des en-têtes personnalisés détaillés dans les réponses, tels que le coût de la requête et le budget restant. Bien qu'axé sur OpenAI, il constitue une alternative légère aux passerelles LLM plus complexes pour les environnements de développement et de staging.