llm-router

LLM Router es una capa de middleware que se sitúa entre su aplicación y un proveedor de LLM (predeterminado: Perplexity). Clasifica los prompts entrantes en niveles simple, medio o complejo basándose en el recuento de tokens y señales de palabras clave, y luego dirige cada solicitud al modelo más rentable: sonar (simple), sonar-pro (medio) o sonar-deep-research (complejo). Cada solicitud se registra en PostgreSQL con detalles completos, incluyendo prompt, respuesta, tokens, costo, latencia, motivo del enrutamiento y una etiqueta de proyecto opcional. El sistema expone una API de analíticas para resúmenes de costos, cálculos de ahorro y desgloses por modelo/día/proyecto. Un tablero de React visualiza las tendencias de uso, la distribución de costos y los registros de solicitudes. Grafana se integra con Prometheus para métricas en tiempo real. La arquitectura es agnóstica al proveedor: puede conectar cualquier API de LLM implementando una única interfaz en `backend/services/providers/`. Construido con FastAPI, PostgreSQL, React y Docker Compose, incluye siembra de datos de muestra, scripts de demostración y pruebas. Diseñado para aprendizaje y uso en portafolio; no está listo para producción. Requiere la configuración de precios y claves de API. La sobrecarga de rendimiento es típicamente inferior a 50ms. Incluye marcadores de posición para autenticación, almacenamiento en caché y multi-tenancy para futuras extensiones.