llm-gateway

llm-gateway 是一个面向生产的企业级 LLM 网关和控制平面，使用 Java 21 和 Spring Boot 实现。它实现了对多个 LLM 提供商的统一访问，并提供路由、回退、护栏、审计日志和成本可视化等运营控制。面向 AI 平台构建者设计，支持通过组织、项目和 API 密钥实现多租户，并暴露兼容 OpenAI 和 Anthropic 的 API。架构上将基于 WebFlux 的数据平面（gateway-app）与基于 Spring MVC 的控制平面（control-plane）分离，共享合同、持久化、路由和提供商 SPI 等模块。采用面向 PostgreSQL 的设计，内置 Micrometer 指标、OpenAPI 文档，并集成 MCP 与 OAuth 实现运行时安全。前端控制台正在 /frontend 目录下开发。本地开发需要 Java 21、Maven 3.9+，前端工作可选 Node.js/pnpm。默认配置支持使用环境变量提供的提供商密钥进行本地测试。Swagger 文档可通过 localhost:8080/docs（gateway）和 localhost:8081/docs（control plane）访问。项目仍在积极开发中，但已采用模块化结构，便于增量特性扩展。