risingwave

RisingWave는 데이터 수집, 증분 처리 및 저지연 서빙을 통합함으로써 기존의 복잡한 스택(Debezium, Kafka, Flink 등)을 대체하는 이벤트 스트리밍 플랫폼입니다. 이는 실시간 애플리케이션과 AI 에이전트를 위해 최신 상태의 쿼리 가능한 데이터를 제공하도록 설계되었습니다. 주요 기능은 다음과 같습니다: - **멀티 소스 수집**: 웹훅, 데이터베이스(PostgreSQL, MySQL)의 네이티브 CDC, 이벤트 스트림(Kafka, Pulsar, Kinesis) 및 S3의 과거 배치 데이터를 지원합니다. - **증분 처리**: 구체화된 뷰(materialized views)를 사용하여 연속적인 계산을 수행하며, 100ms 미만의 엔드-투-엔드 데이터 신선도를 보장합니다. - **저지연 서빙**: 내부 행 저장소(row store)에 결과를 유지하여 p99 지연 시간이 10-20ms인 SQL 쿼리를 제공합니다. - **오픈 스토리지 통합**: 장기 보관 및 분석 액세스를 위해 Apache Iceberg 테이블에 기록하며, 벡터화된 쿼리 실행을 위해 Apache DataFusion을 활용합니다. - **비용 효율적인 아키텍처**: 내부 상태와 구체화된 뷰를 객체 스토리지(S3)에 저장하여 비용을 절감하고 탄력적 확장을 가능하게 하며, 성능 향상을 위한 선택적 디스크 캐시를 제공합니다. - **호환성**: PostgreSQL 와이어 프로토콜을 통해 연결되며, AI 에이전트 통합을 위한 MCP 서버, CLI 및 Skills를 제공합니다. 일반적인 사용 사례로는 실시간 모니터링 및 알림, ML을 위한 피처 스토어, 라이브 대시보드, 실시간 데이터 강화 및 스트리밍 레이크하우스가 있습니다.