このプロジェクトについて
RisingWaveは、データの取り込み、インクリメンタル処理、低遅延の提供を統合することで、従来の複雑なスタック(Debezium、Kafka、Flinkなど)を置き換えるイベントストリーミングプラットフォームです。リアルタイムアプリケーションやAIエージェントに、最新のクエリ可能なデータを提供することを目的として設計されています。
主な機能は以下の通りです:
- **マルチソース取り込み**: webhook、データベース(PostgreSQL、MySQL)からのネイティブCDC、イベントストリーム(Kafka、Pulsar、Kinesis)、およびS3からの履歴バッチデータをサポートします。
- **インクリメンタル処理**: マテリアライズドビューを使用して継続的な計算を行い、エンドツーエンドのデータ鮮度を100ms未満に維持します。
- **低遅延の提供**: 結果を内部の行ストアに保持し、p99レイテンシ10-20msでSQLクエリに応答します。
- **オープンストレージ統合**: 長期保存と分析アクセスのためにApache Icebergテーブルに書き込みを行い、ベクトル化されたクエリ実行にApache DataFusionを利用します。
- **コスト効率の高いアーキテクチャ**: 内部状態とマテリアライズドビューをオブジェクトストレージ(S3)に保存することで、コストを削減し弾力的なスケーリングを可能にします。また、パフォーマンス向上のためのオプションとしてディスクキャッシュを備えています。
- **互換性**: PostgreSQLワイヤプロトコル経由で接続でき、AIエージェント統合のためのMCPサーバー、CLI、およびSkillsを提供します。
一般的なユースケースには、リアルタイムモニタリングとアラート、ML向けフィーチャストア、ライブダッシュボード、リアルタイムデータエンリッチメント、ストリーミングレイクハウスなどが含まれます。
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.