dagster

Dagsterは、テーブル、データセット、機械学習モデル、レポートなどのデータアセットの開発とメンテナンスに焦点を当てたオーケストレーションプラットフォームです。宣言的なプログラミングモデルを採用しており、ユーザーがデータアセットをPython関数として定義することで、システムが実行タイミングとアセットの更新を管理します。 主な機能は以下の通りです： - データフローを追跡し、パフォーマンスの問題を診断するための統合されたリネージとオブザーバビリティ。 - アセット作成とタスク管理への宣言的アプローチ。 - ローカル開発、ユニットテスト、統合テスト、本番デプロイを含む完全な開発ライフサイクルのサポート。 - メタデータ、カタログ化、診断を集中管理するための統合コントロールプレーン。 - 様々な人気のデータツールやインフラストラクチャ向けの統合ライブラリ。 DagsterはPyPIで提供されており、Pythonバージョン3.9から3.14までをサポートしています。