llm-router

O LLM Router é uma API compatível com OpenAI projetada para reduzir os custos operacionais de LLM, roteando automaticamente as solicitações entre diferentes modelos, incluindo GLM, Kimi, Qwen e Doubao. Ao usar o identificador de modelo "auto", o sistema seleciona um modelo com base no tipo de tarefa: tarefas simples são roteadas para o Doubao, tarefas equilibradas para o Qwen e tarefas de raciocínio complexo para o Kimi ou GLM. As principais capacidades incluem: - Roteamento multi-modelo entre vários provedores. - Otimização de custos para reduzir os gastos com API. - API compatível com OpenAI para fácil integração sem alterações significativas no código. - Mecanismos de fallback automático para lidar com falhas. - Seleção inteligente de modelos baseada em tarefas.