free-llm-router

Free LLM Router é uma biblioteca Python e ferramenta CLI que permite aos usuários rotear solicitações entre várias APIs de LLM de camada gratuita, gerenciando chaves, descobrindo modelos disponíveis e aplicando regras de segurança econômica. Suporta provedores como OpenRouter, Gemini, Groq e outros — alguns exigindo confirmação manual do status de camada gratuita. A ferramenta permite configuração por meio de arquivos TOML, armazenamento seguro de chaves (arquivos ou variáveis de ambiente) e failover automático quando os modelos não estão disponíveis. Os usuários podem listar, pesquisar e conversar com modelos usando o CLI ou clientes Python assíncronos/síncronos. Recursos de segurança incluem opt-in explícito para modelos de teste/pagos, agrupamento de cotas para evitar limites de taxa e nenhuma falha silenciosa para camadas pagas. O desenvolvimento inclui testes, linting e otimizações opcionais de velocidade. A documentação cobre configuração específica do provedor, arquitetura e exemplos completos de configuração. Licença MIT.