semantic-router

vLLM Semantic Router proporciona una capa de enrutamiento para organizaciones que operan múltiples LLM en diferentes modelos, aceleradores y ubicaciones de despliegue. En lugar de incrustar la lógica de selección de modelos directamente en las aplicaciones, los equipos pueden definir políticas que evalúen solicitudes entrantes, preferencias de usuario, características de carga de trabajo y restricciones de infraestructura o límites de datos. El enrutador puede entonces elegir una ruta de modelo apropiada o componer múltiples modelos para una solicitud. El proyecto se dirige a entornos de inferencia heterogéneos, incluyendo GPUs y otros aceleradores, despliegues en el borde y en la nube, e infraestructura privada o pública. Sus objetivos declarados incluyen ayudar a los usuarios a gestionar compensaciones de calidad, costo, latencia, privacidad y seguridad cuando ningún modelo único es mejor para cada carga de trabajo. El README describe rutas de modelo personalizadas, enrutamiento entre cómputos y controles destinados a mantener los datos dentro de límites definidos. El repositorio está escrito en Go, con una insignia de Go 1.25, y proporciona un script de instalación estable más documentación para pip, uv e instalación dirigida por agentes. Hay un playground en línea disponible, y el proyecto enlaza a documentación, publicaciones de blog, artículos, recursos de Hugging Face y un canal de Slack de vLLM. El README lista versiones desde v0.1 Iris hasta v0.3 Themis, junto con artículos y publicaciones que cubren caché semántica, decisiones de enrutamiento, detección de alucinaciones, extensibilidad de LoRA y características relacionadas con fusión. La participación comunitaria incluye reuniones mensuales amigables para APAC y Américas, un canal de Slack, guía de contribución y documentación de desarrollo orientada a agentes. AMD está listado como patrocinador que proporciona recursos de GPU y software ROCm para investigación, pruebas y el playground en línea del modelo de enrutador.