Sobre o projeto

Este repositório fornece uma implementação pronta para produção de um roteador em cascata de LLM em camadas, projetado para reduzir as despesas de API em até 65%. O sistema utiliza um classificador leve (Claude Haiku) para analisar as consultas recebidas e roteá-las para um de três níveis de desempenho: Gemini 2.5 Flash-Lite para formatação e extração simples, Claude Sonnet para análise e codificação moderadas, e Claude Opus para raciocínio complexo. O pacote inclui um mecanismo de roteamento central, um conjunto de avaliação para medir a precisão da classificação e um script de modo shadow para monitorar o tráfego de produção sem afetar as respostas em tempo real. Ele suporta as APIs Anthropic e Google Gemini e fornece detalhamentos de uso de tokens e custos para cada solicitação roteada. A implementação é voltada para desenvolvedores que buscam equilibrar o desempenho do modelo com restrições orçamentárias em aplicações de IA de alto volume.