オープンソース。新しい可能性。

Dotflowは@actionデコレータでタスクを定義し、リトライ・並列実行・観測性・34以上のクラウドプラットフォームへのワンクリックデプロイをサポートする軽量なPython実行パイプラインライブラリ。

Dagsterは、データアセットのライフサイクル全体にわたる開発、本番運用、および観測のために設計されたクラウドネイティブなデータパイプラインオーケストレーターです。

Apache Airflowは、ワークフローをコードとしてプログラム的に作成、スケジュール、監視するためのプラットフォームであり、主にデータパイプラインやAI/MLのオーケストレーションに使用されます。

Pathwayは、ストリーム処理・リアルタイム分析、LLMやRAGアプリケーションを含むAIパイプライン向けのPython ETLフレームワークです。PythonコードをRustエンジン上で実行して差分データフローによる増分計算を実現し、バッチ・ストリームデータを同じコードで処理可能で、DockerやKubernetesでのデプロイに対応しています。

AWS上のサーバーレスクリックストリームデータパイプライン。API Gateway、Kinesis、Firehose、Lambda、Athenaを活用し、Parquet形式でイベントを ingestion・変換・保存する。SAMによるIaC対応。

Flowは、単一のバイナリで動作する高性能なETLエンジンおよびワークフローオーケストレーターで、Go言語で記述されています。組み込みのビジュアルWebビルダー、宣言的なXMLパイプライン、クロスデータベースサポート、および内蔵の監査テレメトリを備えています。

Kestraは、宣言的なYAMLインターフェースを利用し、データ、AI、インフラストラクチャのワークフロー向けに設計されたオープンソースのイベント駆動型オーケストレーションプラットフォームです。

CocoIndexは、変更データのみを再処理することでAIエージェントとLLMアプリケーションに継続的に新鮮なコンテキストを提供するオープンソースの増分インデキシングフレームワークです。

VectorはRustで書かれたオープンソースの観測性データパイプライン。エージェントまたはアグリゲータとしてログとメトリクスを収集・変換・ルーティングし、テレメトリーの流れを制御しベンダーコストを削減できる。