llm-router

LLM Router é um servidor proxy e biblioteca Python que consolida múltiplos provedores de Large Language Model (LLM) em um único endpoint. Ele permite que os usuários interajam com vários modelos sem alterar chaves de API ou bases de código, gerenciando as configurações via um arquivo YAML. As principais capacidades incluem: - **Suporte a Múltiplos Provedores**: Integração nativa com 10 provedores, incluindo Google, Cohere, Mistral, OpenRouter, Cerebras, Groq, Hugging Face, Kilo Code, llm7.io e NVIDIA NIM. - **Roteamento Inteligente**: Seleciona automaticamente modelos com base em capacidades (visão, uso de ferramentas, etc.), tamanho da janela de contexto e modos de qualidade (quality, fast, cheap ou code). - **Recursos de Confiabilidade**: Implementa retentativas com backoff exponencial, fallback automático para modelos alternativos em caso de falha e rotação de chaves com períodos de resfriamento para chaves com limite de taxa. - **Compatibilidade com OpenAI**: Inclui um servidor local que expõe uma API compatível com OpenAI, tornando-o compatível com editores como Void e Continue. - **Observabilidade**: Registra todas as solicitações e respostas em um banco de dados SQLite local para histórico e auditoria. - **Uso Flexível**: Pode ser usado como um servidor local independente ou integrado diretamente em projetos Python como uma biblioteca.