higress

Higress는 Istio와 Envoy를 기반으로 구축된 클라우드 네이티브 API 게이트웨이로, LLM API 관리, MCP(Model Context Protocol) 서버 호스팅, 전통적인 API 게이트웨이 기능을 통합한 AI 네이티브 게이트웨이로 설계되었습니다. 알리바바에서 게이트웨이 재로드 시 장기 연결 중단 문제를 해결하고 gRPC/Dubbo 로드 밸런싱을 개선하기 위해 시작되었으며, 현재는 벤더 중립적인 CNCF 샌드박스 프로젝트로 개발되고 있습니다. 심 기능은 다음과 같습니다: (1) AI 게이트웨이 — 통합 프로토콜을 통해 모든 주요 LLM 모델 제공자에 연결되며, AI 관측성, 다중 모델 로드 밸런싱, 토큰 속도 제한, 싱을 제공합니다; (2) MCP 서버 호스팅 — 플러그인 메커니즘을 통해 MCP 서버를 호스팅하여 AI 에이전트가 통합 인증, 세분화된 속도 제한, 감사 로그, 연결 중단 없는 동적 업데이트로 도구와 서비스를 호출할 수 있게 합니다; (3) Kubernetes 인그레스 컨트러 — 공식 Kubernetes 문서에 등재되어 있으며, NGINX 인그레스 어노테이션과 호환되고, Gateway API 표준을 지원하며, ingress-nginx 대비 리소스 오버드를 줄입니다; (4) 마이크로서비스 게이트웨이 — Nacos, ZooKeeper, Consul, Eureka에서 서비스를 검색하고 Dubbo, Nacos, Sentinel과 통합됩니다; (5) 보안 게이트웨이 — WAF, key-auth, hmac-auth, jwt-auth, basic-auth, OIDC를 지원합니다. 주요 기술적 장점: 알리바바에서 초당 수십만 건의 요청을 지원하며 2년 이상 검증된 프로덕션 등급; AI 크로드를 위한 SSE를 포함한 요청/응답 본문의 진정한 스트리밍 처리; 샌드박스 리와 트래픽 손실 없는 핫 업데이트를 갖춘 Go/Rust/JS의 Wasm 플러그인 확장성; 즉시 사용 가능한 UI 솔; 자동 인증서 관리를 위한 Let's Encrypt 통합; 개별 개발자를 위한 단일 Docker 명령 배포. 설치는 Docker(UI용 포트 8001, HTTP용 8080, HTTPS용 8443) 또는 Kubernetes에서 구성 가능한 지역 레지스트리 미러를 사용한 Helm을 통해 간단합니다. 이 프로젝트는 AI, 트래픽 관리, 보안을 아우르는 풍부한 공식 플러그인 라이브러리를 제공하여 비즈니스 시나리오 요구 사항의 90% 이상을 충족합니다. 관련 저장소로는 Higress Console, Higress Standalone, Plugin Server, Wasm Plugin Golang SDK가 있습니다.