Sobre o projeto

O LLMRouter é um gateway API para modelos de linguagem grande (LLM) auto-hospedado, permitindo que os usuários chamem unificadamente vários provedores de IA (como Google, Groq, Mistral, Zhipu AI, Alibaba Cloud Bailian etc.) localmente, acessando-os por meio de uma única interface compatível com OpenAI. Todas as chaves e configurações são armazenadas de forma criptografada em um banco de dados SQLite local, garantindo privacidade e segurança. O sistema suporta failover automático (alternância de modelo em erros 429/5xx), roteamento inteligente (model="auto" seleciona automaticamente a melhor opção), saída em streaming e invocação de ferramentas. Oferece um painel web para gerenciamento de chaves, ajuste de prioridade de roteamento e testes no Playground. Compatível com implantação automática em Windows/macOS/Linux, ocupa cerca de 40 MB de memória ociosa, sendo adequado para uso individual ou de pequenas equipes. A arquitetura técnica é baseada em backend Express e frontend React, com design modular de adaptação a provedores, facilitando a expansão.