semantic-router

Semantic Router est une bibliothèque Python open-source conçue pour fournir une couche de décision ultra-rapide pour les grands modèles de langage (LLM) et les agents d'IA. Plutôt que de s'appuyer sur des générations lentes de LLM pour prendre des décisions d'utilisation d'outils ou de routage, elle utilise des espaces vectoriels sémantiques pour router les requêtes utilisateur vers les routes ou outils appropriés en fonction du sens. Les principales fonctionnalités incluent : - **Routage sémantique** : Définissez des routes avec des exemples d'énoncés, et le routeur classifie rapidement les requêtes entrantes dans la catégorie correcte en utilisant des modèles de plongement. - **Support d'encodeurs** : Intègre divers fournisseurs de plongement comme Cohere, OpenAI, HuggingFace et FastEmbed, permettant une exécution cloud et entièrement locale. - **Intégration de bases de données vectorielles** : Prend en charge la synchronisation des plongements avec Pinecone et Qdrant pour un indexation et une récupération évolutives. - **Routes dynamiques** : Permet la génération de paramètres et les appels de fonctions basés sur les requêtes utilisateur. - **Routage multimodal** : Capable de traiter et de router des données multimodales (par exemple, des images). - **Optimisation des seuils** : Permet l'entraînement et le réglage des seuils de route pour optimiser les performances de classification. - **Intégrations** : S'intègre facilement avec les agents LangChain et d'autres frameworks LLM. La bibliothèque est disponible en deux lignes de versions : la ligne stable 0.x et la réécriture 1.x avec changements majeurs, actuellement en développement sur la branche principale.