オープンソース。新しい可能性。

Dagsterは、データアセットのライフサイクル全体にわたる開発、本番運用、および観測のために設計されたクラウドネイティブなデータパイプラインオーケストレーターです。

Apache Airflowは、ワークフローをコードとしてプログラム的に作成、スケジュール、監視するためのプラットフォームであり、主にデータパイプラインやAI/MLのオーケストレーションに使用されます。

Pathwayは、ストリーム処理・リアルタイム分析、LLMやRAGアプリケーションを含むAIパイプライン向けのPython ETLフレームワークです。PythonコードをRustエンジン上で実行して差分データフローによる増分計算を実現し、バッチ・ストリームデータを同じコードで処理可能で、DockerやKubernetesでのデプロイに対応しています。