route67

Route67 est un système de routage LLM léger conçu pour les API de complétion de chat compatibles OpenAI. Il permet aux utilisateurs de définir une table de routage qui associe des requêtes en langage naturel à des modèles cibles (par ex., 'Prove this theorem' → 'strong_model'). À l'exécution, les requêtes entrantes sont comparées à la table de routage à l'aide de la similarité cosinus calculée par un modèle de transformateur de phrases. Si aucune correspondance ne dépasse un seuil configurable, un « weak model » désigné agit comme gardien : il répond directement ou escalade vers un modèle plus puissant selon son jugement. Le système prend en charge tout fournisseur compatible OpenAI (par ex., OpenRouter) en injectant un client personnalisé. Les noms de modèles dans la configuration de routage sont transmis tels quels, permettant un changement flexible de backend sans modifier la logique de routage. Les options de requête spécifiques au fournisseur (comme extra_body) et les champs de réponse (comme reasoning_details) sont conservés. Les entrées de la table de routage ne font référence qu'à "weak_model" ou "strong_model" ; les identifiants réels des modèles résident dans des objets ModelSpec. Les notes d'utilisation de ModelSpec sont injectées dans le prompt système du weak model pour guider le comportement d'escalade. Le modèle d'embedding (minishlab/potion-base-8M) est téléchargé paresseusement lors de la première utilisation. Le dépôt comprend des outils de benchmark pour évaluer la précision du routage et la sensibilité du seuil à l'aide de jeux de données synthétiques. Ils sont destinés au développement et à l'ajustement, et ne font pas partie de l'installation standard PyPI. L'installation nécessite Python 3.10+ et peut être effectuée via pip ou uv. Le code d'exemple montre une configuration minimale avec des variables d'environnement et une logique de routage de base.