llm-gateway

O Inja LLM Gateway é um gateway de API leve e sem dependências para provedores de modelos de linguagem de grande porte. Ele aceita solicitações nos dialetos OpenAI Chat Completions, Anthropic Messages ou Gemini nativo e as roteia para qualquer provedor upstream configurado—incluindo OpenAI, Anthropic, Google, DeepSeek, xAI, Moonshot, OpenRouter, vLLM e outros. O tráfego no mesmo dialeto é repassado quase literalmente; solicitações entre dialetos são traduzidas automaticamente, com suporte a saídas estruturadas, uso de ferramentas e blocos de raciocínio. O gateway é totalmente sem estado, sem banco de dados, sessões ou roteamento fixo, o que torna trivial escalar réplicas idênticas. Ele é distribuído como um único binário estático para macOS, Linux e Windows, e inclui manifestos de implantação para Docker e Kubernetes. A única dependência em tempo de execução é gopkg.in/yaml.v3. Os principais recursos incluem egress de múltiplos provedores com quatro tipos de provedor (openai, openai_compat, anthropic, google), aliases de modelo e roteamento, autenticação de borda opcional com segredos compartilhados, fontes de token OAuth2 e conta de serviço, e um painel de operador integrado em /ui. A medição de uso emite um evento por solicitação encaminhada via JSONL, webhook assíncrono, SQLite opcional ou um hook Go in-process. O gateway também suporta embeddings, geração de imagens, trabalhos de vídeo, texto-para-fala, fala-para-texto, OpenAI Responses, Files, Batches, Moderations e sessões WebSocket em tempo real (apenas passagem pelo mesmo protocolo). A configuração é um único arquivo YAML com sobrescritas por variáveis de ambiente. Verificações de saúde, métricas Prometheus, limites de tamanho do corpo e desligamento gracioso são integrados. O projeto é licenciado sob AGPL-3.0.