llmhub

LLMHub é um serviço de proxy reverso projetado para APIs compatíveis com OpenAI. Ele permite que os usuários agreguem múltiplos provedores de API upstream em um único ponto de entrada, gerenciando a autenticação e o roteamento de solicitações via um arquivo de configuração YAML. As principais capacidades incluem: - **Agregação de Provedores**: Suporte para múltiplos provedores upstream com URLs base personalizadas e configurações opcionais de proxy HTTP. - **Gerenciamento de Chaves de API**: Capacidade de definir chaves de API personalizadas para usuários downstream e gerenciar múltiplas chaves upstream para balanceamento de carga. - **Roteamento Flexível**: Regras de roteamento que mapeiam solicitações downstream para provedores específicos com base em nomes de modelos ou grupos de modelos predefinidos. - **Aliasing de Modelos**: Suporte para mapear aliases simples para nomes de modelos originais complexos. - **Confiabilidade**: Mecanismos de tentativa (retry) configuráveis para solicitações upstream que falharam.