llm-router

O LLM Router é um gateway de API flexível e eficiente projetado para distribuir solicitações entre múltiplos provedores de Large Language Model (LLM) e chaves de API. Escrito em Go, ele atua como um substituto direto para o endpoint de chat completions da OpenAI. As principais capacidades incluem balanceamento de carga inteligente baseado no uso, seleção de modelos ponderada para otimização de custos e a habilidade de definir grupos de modelos lógicos que mapeiam para múltiplos provedores subjacentes, como OpenAI e OpenRouter. Ele suporta streaming completo via Server-Sent Events (SSE), compressão de resposta e monitoramento detalhado de desempenho, rastreando métricas como Time to First Token (TTFT) e tokens por segundo. O roteador também gerencia a administração de chaves de API para redundância e mitigação de rate-limit, oferecendo uma camada de autenticação segura e compatibilidade com a Responses API da OpenAI.