Об этом проекте

RisingWave — это платформа потоковой передачи событий, которая заменяет традиционные сложные стеки (такие как Debezium, Kafka и Flink), объединяя сбор данных, инкрементальную обработку и предоставление данных с низкой задержкой. Она разработана для обеспечения актуальными, доступными для запросов данными приложений реального времени и ИИ-агентов. Ключевые возможности включают: - Многоисточниковый сбор данных: поддержка вебхуков, нативного CDC из баз данных (PostgreSQL, MySQL), потоков событий (Kafka, Pulsar, Kinesis) и исторических пакетных данных из S3. - Инкрементальная обработка: использование материализованных представлений для непрерывных вычислений, обеспечивающее сквозную актуальность данных менее 100 мс. - Предоставление данных с низкой задержкой: хранение результатов во внутреннем строковом хранилище для обслуживания SQL-запросов с задержкой p99 10-20 мс. - Интеграция с открытым хранилищем: запись в таблицы Apache Iceberg для долгосрочного хранения и аналитического доступа с использованием Apache DataFusion для векторизованного выполнения запросов. - Экономичная архитектура: хранение внутреннего состояния и материализованных представлений в объектном хранилище (S3) для снижения затрат и обеспечения эластичного масштабирования, с опциональным дисковым кэшем для повышения производительности. - Совместимость: подключение через протокол PostgreSQL, наличие MCP-сервера, CLI и Skills для интеграции с ИИ-агентами. Типовые варианты использования включают мониторинг и оповещение в реальном времени, хранилища признаков (feature stores) для ML, живые дашборды, обогащение данных в реальном времени и потоковые lakehouse.