Sobre o projeto

llm-gateway é um gateway LLM empresarial pronto para produção e plano de controle implementado em Java 21 usando Spring Boot. Ele permite acesso unificado a múltiplos provedores de LLM enquanto oferece controles operacionais como roteamento, fallback, guardrails, registro de auditoria e visibilidade de custos. Projetado para construtores de plataformas de IA, suporta multi‑tenancy via organizações, projetos e chaves de API, e expõe APIs compatíveis com OpenAI e Anthropic. A arquitetura separa o plano de dados baseado em WebFlux (gateway-app) do plano de controle Spring MVC (control-plane), com módulos compartilhados para contratos, persistência, roteamento e SPIs de provedores. Construído com design orientado a PostgreSQL, inclui métricas Micrometer, documentação OpenAPI e integra MCP e OAuth para segurança em tempo de execução. O desenvolvimento do console frontend está em andamento em /frontend. O desenvolvimento local requer Java 21, Maven 3.9+ e, opcionalmente, Node.js/pnpm para trabalho de frontend. Configurações padrão permitem testes locais com variáveis de ambiente para chaves de provedores. A documentação Swagger está disponível em localhost:8080/docs (gateway) e localhost:8081/docs (control plane). Está em desenvolvimento ativo, mas estruturado de forma modular para expansão incremental de recursos.