llmhub

LLMHub est un service de proxy inverse conçu pour les API compatibles OpenAI. Il permet aux utilisateurs d'agréger plusieurs fournisseurs d'API amont en un point d'entrée unique, en gérant l'authentification et le routage des requêtes via un fichier de configuration YAML. Les capacités clés incluent : - **Agrégation de fournisseurs** : Prise en charge de plusieurs fournisseurs amont avec des URL de base personnalisées et des paramètres de proxy HTTP optionnels. - **Gestion des clés API** : Possibilité de définir des clés API personnalisées pour les utilisateurs en aval et de gérer plusieurs clés amont pour l'équilibrage de charge. - **Routage flexible** : Règles de routage qui mappent les requêtes en aval vers des fournisseurs spécifiques en fonction des noms de modèles ou de groupes de modèles prédéfinis. - **Alias de modèles** : Prise en charge du mappage d'alias simples vers des noms de modèles originaux complexes. - **Fiabilité** : Mécanismes de tentative de reconnexion configurables pour les requêtes amont ayant échoué.