ai-gateway

O AI Gateway é uma infraestrutura de roteamento inteligente projetada para otimizar o uso de LLMs em ambientes de produção. Ele roteia dinamicamente cada requisição para o modelo mais adequado com base na classificação de intenção, eficiência de custo e métricas de saúde dos provedores em tempo real. O sistema evita o pagamento excessivo por consultas simples, direcionando-as para modelos mais baratos, enquanto reserva modelos avançados de raciocínio para tarefas complexas. Construído com Node.js e Express, integra-se a provedores como Groq e Google Gemini, utilizando embeddings BGE locais para detecção de intenção ou alternativas hospedadas. Recursos principais incluem gerenciamento multi-tenant de chaves de API com cotas diárias, cache em duas camadas (exato + semântico), failover automático entre provedores e escalonamento baseado em confiança do modelo barato para o modelo de raciocínio. A seleção orientada por saúde utiliza o algoritmo de Welford para rastrear latência e taxas de falha por modelo, permitindo rerroteamento dinâmico. Observabilidade integrada via endpoints administrativos mostra taxas de acerto no cache, latência e uso por inquilino. Redis é usado para persistência e cache, com fallback em memória para desenvolvimento. A arquitetura é modular, testável e implantável em plataformas como Koyeb com Upstash Redis. Embora não seja um chatbot ou wrapper de modelo único, atua como um plano de controle que melhora a confiabilidade, reduz custos e oferece visibilidade completa das operações com modelos de IA. Ideal para equipes que gerenciam múltiplos LLMs em produção e precisam de roteamento inteligente, resiliência e controles em nível de inquilino sem construir infraestrutura personalizada.