llm-router

LLM Router é um servidor projetado para rotear solicitações de API compatíveis com OpenAI entre diferentes provedores de LLM. Ele fornece uma interface unificada e lida com a conversão de solicitações e respostas entre os formatos OpenAI, Anthropic e Gemini. Principais capacidades incluem: - Suporte a múltiplos provedores: Compatível com endpoints de API da OpenAI, Anthropic e Gemini. - Conversão de Request/Response: Traduz automaticamente formatos de dados entre os padrões de API suportados. - Seleção avançada de modelos: Suporta seleção de modelos usando sintaxe completa de expressões jq, permitindo roteamento condicional com base no corpo da solicitação. - Estratégias de roteamento: Implementa estratégias round-robin, aleatória e menos conexões com distribuição baseada em pesos. - Tratamento de erros: Reduz automaticamente o peso de um modelo em caso de falha para gerenciar a disponibilidade. - Configuração: Gerenciada por meio de um arquivo YAML onde os usuários podem definir listas de modelos, chaves de API, URLs base e grupos de roteamento.