À propos du projet

Cette couche proxy basée sur Node.js permet aux utilisateurs de router les requêtes vers des modèles d'IA à travers plusieurs fournisseurs, en utilisant une interface compatible OpenAI (/v1/chat/completions). Elle est conçue pour garantir fiabilité et flexibilité dans les déploiements d'IA. Les capacités clés incluent : - Fallback multi-fournisseurs : routage des requêtes vers plusieurs fournisseurs pour un même modèle, selon une priorité définie. - Routage sensible à l'état de santé : surveillance en temps réel de la santé des fournisseurs pour automatiser le basculement et la récupération. - Configuration sécurisée : prise en charge de l'injection de clés API via des variables d'environnement afin d'éviter toute hardcodage de secrets. - Mappage des modèles : utilisation d'une configuration YAML pour mapper des modèles spécifiques vers différents points de terminaison et clés API des fournisseurs. - Interface d'administration locale : inclut un panneau optionnel léger permettant de gérer les mappages modèles-fournisseurs. - Conception prête pour le edge : architecturée pour une migration potentielle vers des plateformes edge telles que Cloudflare Workers ou Vercel Edge.