프로젝트 소개

llm-gateway는 Spring Boot를 사용해 Java 21로 구현된 프로덕션 준비가 된 엔터프라이즈 LLM 게이트웨이 및 컨트롤 플레인입니다. 여러 LLM 제공자에 대한 통합 액세스를 가능하게 하며, 라우팅, 폴백, 가드레일, 감사 로깅, 비용 가시성과 같은 운영 제어를 제공합니다. AI 플랫폼 빌더를 위해 설계되었으며, 조직, 프로젝트, API 키를 통한 멀티 테넌시를 지원하고 OpenAI 및 Anthropic 호환 API를 노출합니다. 아키텍처는 WebFlux 기반 데이터 플레인(gateway-app)과 Spring MVC 컨트롤 플레인(control-plane)을 분리하며, 계약, 지속성, 라우팅, 제공자 SPI를 위한 공유 모듈을 갖습니다. PostgreSQL 지향 설계로 구축되었으며, Micrometer 메트릭, OpenAPI 문서를 포함하고 런타임 보안을 위해 MCP와 OAuth를 통합합니다. /frontend 경로에서 frontend 콘솔 개발이 진행 중입니다. 로컬 개발에는 Java 21, Maven 3.9+, 그리고 프론트엔드 작업을 위한 선택적 Node.js/pnpm이 필요합니다. 기본 구성은 제공자 키를 위한 환경 변수를 사용한 로컬 테스트를 허용합니다. Swagger 문서는 localhost:8080/docs (게이트웨이)와 localhost:8081/docs (컨트롤 플레인)에서 이용할 수 있습니다. 활발히 개발 중이지만, 점진적인 기능 확장을 위해 모듈식으로 구성되어 있습니다.