jano

Jano es un enrutador HTTP minimalista y compatible con OpenAI, diseñado para usuarios que ejecutan múltiples LLMs locales en una sola GPU. Reduce la sobrecarga implementando agrupación (batching) greedy: en lugar de intercambiar modelos con cada cambio de solicitud, atiende primero todas las solicitudes pendientes del modelo actualmente cargado e intercambia solo cuando es necesario. Esto puede reducir los intercambios de modelos de varios a uno por ráfaga, ahorrando tiempo significativo (de 30 segundos a 3 minutos) en hardware local. Jano soporta tanto backends locales (como llama-server o vLLM) como APIs remotas (por ejemplo, DeepSeek), con reescritura automática de nombres de modelo para proveedores remotos. Incluye telemetría integrada mediante puntos de conexión /health, /status y métricas Prometheus, que registran profundidad de cola, duración del intercambio, rendimiento de tokens y salud del backend. La configuración se maneja mediante variables de entorno y un archivo models.json, donde los usuarios definen nombres de modelo, URLs, alias y scripts de intercambio opcionales. El contrato del script de intercambio es simple: dado un nombre de modelo, debe activar ese backend y salir limpiamente; el reporte opcional de estado ayuda a detectar el estado inicial. Jano serializa todas las solicitudes por backend para mantener la lógica simple, lo que lo hace ideal para configuraciones personales o a pequeña escala, más que servicios multiinquilino. No gestiona la temperatura de la GPU ni los recursos del sistema; eso queda fuera de su alcance. Diseñado como una capa delgada sobre herramientas existentes, Jano ofrece control explícito sobre el cambio de modelos, compatibilidad con cualquier backend estilo OpenAI y transmisión transparente de streaming y llamadas a herramientas. No es necesario si estás usando Ollama o un solo modelo; está mejor suited para usuarios que ya tienen backends personalizados y desean un control fino sobre el enrutamiento y el intercambio.