llm-router

LLM Router é uma aplicação FastAPI projetada para atuar como um proxy unificado para múltiplos backends de IA, mantendo total compatibilidade com a OpenAI Chat Completions API. Ele permite que desenvolvedores roteiem solicitações entre vários provedores — incluindo OpenAI, Cerebras, DeepInfra e instâncias locais do Ollama — usando um sistema baseado em prioridade com failover automático. As principais capacidades incluem: - Roteamento Multi-Backend: Alterna perfeitamente entre diferentes serviços de IA com base na disponibilidade e prioridade. - Compatibilidade com OpenAI: Funciona como um substituto direto para aplicações existentes baseadas em OpenAI, bastando alterar a URL base. - Recursos de Resiliência: Implementa failover automático para backends secundários caso o serviço primário falhe ou atinja limites de taxa. - Gestão de Tráfego: Possui um sistema de limitação de taxa integrado usando um algoritmo de janela deslizante e suporta múltiplas chaves de API para autenticação. - Monitoramento e Estatísticas: Fornece endpoints dedicados para verificações de integridade, status do backend e métricas de uso. - Configuração Flexível: Suporta configuração baseada em ambiente ou regras de roteamento avançadas baseadas em JSON. A ferramenta é particularmente útil para desenvolvedores que buscam aumentar a confiabilidade de suas aplicações alimentadas por IA, diversificando seus provedores de modelos sem alterar a base de código.