Sobre el proyecto
llm-gateway es una puerta de enlace LLM y plano de control lista para producción, implementada en Java 21 utilizando Spring Boot. Permite un acceso unificado a múltiples proveedores de LLM mientras ofrece controles operativos como enrutamiento, fallbacks, guardrails, registro de auditoría y visibilidad de costos. Diseñada para creadores de plataformas de IA, admite multiinquilinidad mediante organizaciones, proyectos y claves de API, y expone APIs compatibles con OpenAI y Anthropic. La arquitectura separa el plano de datos basado en WebFlux (gateway-app) del plano de control basado en Spring MVC (control-plane), con módulos compartidos para contratos, persistencia, enrutamiento y SPI de proveedores. Construida con un diseño orientado a PostgreSQL, incluye métricas Micrometer, documentación OpenAPI y se integra con MCP y OAuth para la seguridad en tiempo de ejecución. El desarrollo de la consola de frontend está en curso bajo /frontend. El desarrollo local requiere Java 21, Maven 3.9+ y opcionalmente Node.js/pnpm para trabajar en el frontend. Las configuraciones predeterminadas permiten pruebas locales con variables de entorno para las claves de los proveedores. La documentación de Swagger está disponible en localhost:8080/docs (gateway) y localhost:8081/docs (plano de control). Está en desarrollo activo pero estructurada de forma modular para permitir una expansión incremental de características.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.