llm-router

LLM Router est un serveur conçu pour router les requêtes API compatibles avec OpenAI vers différents fournisseurs de LLM. Il offre une interface unifiée et gère la conversion des requêtes et des réponses entre les formats OpenAI, Anthropic et Gemini. Les capacités clés incluent : - Support multi-fournisseurs : Compatible avec les points de terminaison API d'OpenAI, Anthropic et Gemini. - Conversion requête/réponse : Traduit automatiquement les formats de données entre les normes API prises en charge. - Sélection avancée des modèles : Prend en charge la sélection de modèles à l'aide de la syntaxe complète des expressions jq, permettant un routage conditionnel basé sur le corps de la requête. - Stratégies de routage : Implémente des stratégies round-robin, aléatoire et du moins de connexions avec distribution basée sur les poids. - Gestion des erreurs : Réduit automatiquement le poids d'un modèle en cas d'échec afin de gérer la disponibilité. - Configuration : Gérée via un fichier YAML où les utilisateurs peuvent définir des listes de modèles, des clés API, des URL de base et des groupes de routage.