llm-router

Este é um proxy de roteamento de LLM local e determinístico que aceita requisições de API da OpenAI e Anthropic e as roteia para o modelo disponível ideal com base em pontuação configurável baseada em regras — sem aleatoriedade ou decisões de LLM-in-the-loop. Ele suporta múltiplos backends, incluindo OpenRouter (meta-provedor em nuvem), oMLX (modelos locais Apple Silicon), Ollama e provedores de nuvem diretos como OpenAI, Groq, Gemini, etc. O sistema avalia cada requisição usando um sistema especialista de quatro fases: resolução de perfil, filtragem rígida (contexto, modalidades, privacidade, limites de preço), pontuação ponderada (custo, latência, folga de contexto, preferência, qualidade) e injeção de flags específicas do provedor. Os usuários podem selecionar entre seis perfis integrados (ex: barato, rápido, privado, inteligente, local) ou definir perfis personalizados via configuração. O direcionamento por requisição é possível via headers ou campos do corpo. O proxy inclui uma interface web para chat playground, catálogo de modelos, explicação de roteamento, estatísticas de uso e logs; além de um app admin nativo para a barra de menu do macOS para configuração via GUI. Ele lida com erros de upstream fazendo fallback na lista ranqueada e transmite respostas SSE diretamente. Os recursos incluem rotação automática de chaves OpenRouter, redação de segredos (DLP), fixação de perfil a chaves de API e pontuação de qualidade via Artificial Analysis. O suporte ao Docker é fornecido com configuração persistente e histórico em SQLite. Sem hot-reload — reinicialização necessária após alterações de configuração. Construído em Rust com crates modulares para configuração, lógica central, provedores e ferramentas de administração.