subrelay

subrelay est une passerelle relais légère conçue pour gérer plusieurs identifiants API OpenAI et Anthropic. Elle agit comme une couche intermédiaire entre les utilisateurs et les fournisseurs en amont, offrant des fonctionnalités telles que la sélection pondérée-aléatoire, le basculement automatique et la gestion des délais de limitation de débit. Contrairement aux alternatives plus lourdes, elle utilise SQLite pour le stockage et ne nécessite aucune dépendance externe comme Redis ou PostgreSQL. Fonctionnalités clés : - Compatibilité des protocoles : Prend en charge à la fois les API OpenAI Chat Completions et Anthropic Messages, avec un transfert au niveau des octets lorsque les protocoles correspondent pour préserver les appels d'outils et les champs spécifiques au fournisseur. - Gestion des identifiants : Gère plusieurs clés avec application de budget quotidien, limites de concurrence et refroidissement automatique en cas d'erreurs 429 ou 5xx. - Intégration New API : Propose une commande sync-newapi pour harmoniser les configurations locales avec les canaux New API, prenant en charge les simulations, l'élagage et les workflows GitOps. - Observabilité : Fournit des métriques Prometheus, des vérifications de santé et un outil CLI doctor pour analyser la santé des identifiants. - Convivialité pour les développeurs : Configuration YAML simple avec interpolation des variables d'environnement et modèle de déploiement mono-processus via Python ou Docker.