Sobre o projeto

O AI Gateway é um gateway de API leve e auto-hospedável, projetado para ser compatível com a interface da OpenAI. Ele permite que os usuários definam rotas mapeadas para nomes de modelos específicos usados por suas aplicações, tentando então as requisições através de provedores configurados em sequência até que uma tenha sucesso — ajudando a reduzir falhas devido a limites de taxa ou interrupções. Suporta implantação via Docker, serviços systemd e builds de binários locais. A configuração é gerenciada via YAML com substituição de variáveis de ambiente, permitindo a configuração flexível de provedores (ex: Cerebras, OpenRouter) e timeouts por rota. Inclui adaptadores de requisição para correções de compatibilidade (como relaxamento de tool_choice ou injeção de JSON schema), rotação de endpoints em erros transitórios e endpoints de diagnóstico. A autenticação utiliza chaves de API; a telemetria via OTLP/HTTP é opcional. Os padrões de segurança incluem execução sem root e logs redigidos. Ideal para desenvolvedores que integram LLMs em apps como n8n, mantendo a resiliência e o controle sobre os fallbacks de provedores.