fluss

Apache Flussは、リアルタイム分析とAIワークロード向けに設計されたオープンソースのストリーミングストレージシステムです。Lakehouseアーキテクチャのリアルタイムデータレイヤーとして機能し、データストリーミングとデータLakehouseのギャップを埋めます。Flussは低レイテンシ・高スループットのデータ取り込みと処理を可能にし、Apache FlinkやApache Sparkなどの一般的なコンピュートエンジンと統合します。StarRocksのサポートも計画されています。 主な機能は以下の通りです： - **サブ秒のデータ鮮度**：継続的な取り込みと即時のデータ可用性により、低レイテンシ分析とリアルタイム意思決定を実現します。 - **ストリーミングとLakehouseの統合**：テーブルを単一の抽象化として使用し、エンジン間でリアルタイムデータと履歴データを統合します。Lakehouse上で低レイテンシアクセスを備えたストリーミングネイティブストレージを可能にします。 - **列指向ストリーミング**：Apache Arrowに基づき、データストリーム上のデータベースプリミティブ、列プルーニング、述語プッシュダウンをサポートし、I/Oとネットワークコストを最小限に抑えます。 - **コンピュートとストレージの分離**：ストリームプロセッサは計算に集中し、Flussが状態とストレージを管理します。重複排除、部分更新、デルタ結合、集約マージエンジンなどの機能を提供します。 - **ML・AI対応ストレージ**：行ベース、列指向、ベクトル、マルチモーダルデータをサポートする統合ストレージレイヤーで、リアルタイム特徴量ストアや集中型ML/AIデータリポジトリを実現します。 - **変更ログと意思決定追跡**：組み込みの変更ログ生成により、監査、再現性、可観測性のための状態と意思決定の進化の追記専用履歴を提供します。 ## ビルド 前提条件：Unix系環境、Git、Maven（3.8.6以上）、Java 11。 ```bash git clone https://github.com/apache/fluss.git cd fluss ./mvnw clean package -DskipTests ``` ビルドでは正しいMavenバージョンを確保するためにMaven Wrapperを使用します。プロジェクトは`build-target`にインストールされます。 ## 貢献 Apache Flussはオープンソースであり、貢献を歓迎します。ディスカッションに参加したり、バグや機能リクエストのIssueを開いたり、コードやドキュメントに貢献したりできます。 ## ライセンス Apache FlussはApache License 2.0の下でライセンスされています。