llm-router

LLM Router es una puerta de enlace de API flexible y eficiente diseñada para distribuir solicitudes entre múltiples proveedores de Large Language Model (LLM) y claves de API. Escrito en Go, actúa como un reemplazo directo para el endpoint de chat completions de OpenAI. Sus capacidades clave incluyen el equilibrio de carga inteligente basado en el uso, la selección de modelos ponderada para la optimización de costos y la capacidad de definir grupos de modelos lógicos que se mapean a múltiples proveedores subyacentes como OpenAI y OpenRouter. Admite streaming completo a través de Server-Sent Events (SSE), compresión de respuestas y un monitoreo detallado del rendimiento, rastreando métricas como el Time to First Token (TTFT) y los tokens por segundo. El enrutador también gestiona la administración de claves de API para la redundancia y la mitigación de límites de tasa, ofreciendo una capa de autenticación segura y compatibilidad con la Responses API de OpenAI.