semantic-router

vLLM Semantic Router fournit une couche de routage aux organisations exploitant plusieurs LLM sur différents modèles, accélérateurs et sites de déploiement. Au lieu d'intégrer la logique de sélection de modèle directement dans les applications, les équipes peuvent définir des politiques qui évaluent les requêtes entrantes, les préférences utilisateur, les caractéristiques de charge de travail et les contraintes d'infrastructure ou de frontière de données. Le routeur peut alors choisir un chemin de modèle approprié ou composer plusieurs modèles pour une requête. Le projet cible des environnements d'inférence hétérogènes, notamment les GPU et autres accélérateurs, les déploiements en périphérie et dans le cloud, ainsi que les infrastructures privées ou publiques. Ses objectifs annoncés incluent d'aider les utilisateurs à gérer les compromis entre qualité, coût, latence, confidentialité et sécurité lorsqu'aucun modèle unique n'est optimal pour toutes les charges de travail. Le README décrit des chemins de modèles personnalisés, un routage entre ressources de calcul et des contrôles destinés à maintenir les données dans des limites définies. Le dépôt est écrit en Go, avec un badge Go 1.25, et fournit un script d'installation stable ainsi qu'une documentation pour pip, uv et l'installation pilotée par agent. Un playground en ligne est disponible, et le projet renvoie vers la documentation, des articles de blog, des publications, des ressources Hugging Face et un canal Slack vLLM. Le README liste les versions de v0.1 Iris à v0.3 Themis, ainsi que des articles et publications couvrant la mise en cache sémantique, les décisions de routage, la détection d'hallucinations, l'extensibilité LoRA et des fonctionnalités liées à la fusion. La participation communautaire comprend des réunions mensuelles adaptées aux fuseaux APAC et Amériques, un canal Slack, des conseils de contribution et une documentation de développement orientée agent. AMD est cité comme sponsor fournissant des ressources GPU et le logiciel ROCm pour la recherche sur les modèles de routeur, les tests et le playground en ligne.