Sobre o projeto
Esta camada de proxy baseada em Node.js permite que os usuários roteiem solicitações de modelos de IA entre vários provedores por meio de uma interface compatível com OpenAI (/v1/chat/completions). Foi projetada para garantir confiabilidade e flexibilidade em implantações de IA.
Principais capacidades incluem:
- Fallback multi-provedor: roteia solicitações a múltiplos provedores para o mesmo modelo com base em prioridade definida.
- Roteamento sensível à saúde: acompanha a saúde do provedor em tempo real para automatizar processos de fallback e recuperação.
- Configuração segura: suporta injeção de chaves de API por variáveis de ambiente para evitar codificação fixa de segredos.
- Mapeamento de modelos: utiliza configuração YAML para mapear modelos específicos a endpoints de diversos provedores e chaves de API.
- Painel Admin local: inclui um painel leve opcional para gerenciar mapeamentos de modelo-provedor.
- Design pronto para edge: arquitetado para possível migração a plataformas de edge como Cloudflare Workers ou Vercel Edge.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.