route67

Route67 é um sistema leve de roteamento de LLM projetado para APIs de conclusão de chat compatíveis com OpenAI. Permite aos usuários definir uma tabela de roteamento que mapeia consultas em linguagem natural para modelos-alvo (ex: 'Prove este teorema' → 'strong_model'). Em tempo de execução, consultas recebidas são comparadas à tabela usando similaridade cosseno calculada por um modelo sentence transformer. Se nenhuma correspondência exceder um limiar configurável, um modelo 'fraco' designado atua como guardião: responde diretamente ou escalona para um modelo mais forte com base em seu julgamento. O sistema suporta qualquer provedor compatível com OpenAI (ex: OpenRouter) ao injetar um cliente personalizado. Nomes de modelos na configuração de roteamento são passados inalterados, permitindo troca flexível de backends sem modificar a lógica de roteamento. Opções específicas do provedor (como extra_body) e campos de resposta (como reasoning_details) são preservados. Entradas da tabela de roteamento referenciam apenas "weak_model" ou "strong_model"; identificadores reais dos modelos estão em objetos ModelSpec. Notas de uso do ModelSpec são injetadas no prompt do sistema do modelo fraco para orientar o comportamento de escalonamento. O modelo de embedding (minishlab/potion-base-8M) é baixado preguiçosamente na primeira utilização. O repositório inclui ferramentas de benchmarking para avaliar precisão de roteamento e sensibilidade ao limiar usando conjuntos de dados sintéticos. Essas ferramentas são destinadas a desenvolvimento e ajuste, não fazem parte da instalação padrão do PyPI. A instalação requer Python 3.10+ e pode ser feita via pip ou uv. Código de exemplo demonstra configuração mínima com variáveis de ambiente e lógica básica de roteamento.