route67

Route67 es un sistema de enrutamiento de LLM ligero diseñado para APIs de completado de chat compatibles con OpenAI. Permite a los usuarios definir una tabla de enrutamiento que mapea consultas en lenguaje natural a modelos objetivo (por ejemplo, 'Demuestra este teorema' → 'strong_model'). En tiempo de ejecución, las consultas entrantes se cotejan con la tabla de enrutamiento utilizando la similitud de coseno computada por un modelo de sentence transformer. Si ninguna coincidencia supera un umbral configurable, un 'weak model' designado actúa como guardián: responde directamente o escala a un modelo más fuerte según su criterio. El sistema es compatible con cualquier proveedor compatible con OpenAI (por ejemplo, OpenRouter) mediante la inyección de un cliente personalizado. Los nombres de los modelos en la configuración de enrutamiento se transmiten sin cambios, lo que permite un cambio flexible de backend sin modificar la lógica de enrutamiento. Se preservan las opciones de solicitud específicas del proveedor (como extra_body) y los campos de respuesta (como reasoning_details). Las entradas de la tabla de enrutamiento solo hacen referencia a "weak_model" o "strong_model"; los identificadores reales de los modelos residen en objetos ModelSpec. Las notas de uso de ModelSpec se inyectan en el prompt del sistema del modelo débil para guiar el comportamiento de escalada. El modelo de embedding (minishlab/potion-base-8M) se descarga de forma perezosa en el primer uso. El repositorio incluye herramientas de benchmarking para evaluar la precisión del enrutamiento y la sensibilidad del umbral utilizando conjuntos de datos sintéticos. Estos están destinados al desarrollo y ajuste, no forman parte de la instalación estándar de PyPI. La instalación requiere Python 3.10+ y puede realizarse a través de pip o uv. El código de ejemplo demuestra una configuración mínima con variables de entorno y lógica de enrutamiento básica.