airflow

Apache Airflowは、ワークフローの作成、スケジュール、および監視のために設計されたプラットフォームです。ワークフローをコード（有向非巡回グラフ、またはDAG）として定義することで、メンテナンス性、バージョン管理、およびテスト可能性が向上します。このプラットフォームには、指定された依存関係に基づいてワーカー上でタスクを実行するスケジューラ、DAG管理用のリッチなコマンドラインインターフェース、およびパイプラインの可視化とトラブルシューティングのためのユーザーインターフェースが含まれています。 主な機能は以下の通りです： - 動的なパイプライン生成：ワークフローはPythonで定義されるため、動的な生成やパラメータ化が可能です。 - 拡張性：幅広い組み込みオペレーターを提供し、カスタム拡張をサポートしています。 - 柔軟性：Jinjaテンプレートエンジンを統合し、高度なカスタマイズが可能です。 - 幅広いユースケース：主にデータパイプラインに使用されますが、機械学習ワークフロー（トレーニング、評価、デプロイ）やAI/LLMベースのワークロードのオーケストレーションにも利用されています。 - 監視UI：DAGの概要、アセット依存関係グラフ、実行のグリッドおよびグラフ表示、バックフィルツールなど、包括的なインターフェースを備えています。 Airflowは、静的または変化の緩やかなワークフロー向けに設計されており、冪等なタスクを重視しています。ストリーミングソリューションではありませんが、リアルタイムデータをバッチで処理することが可能です。PostgreSQL、MySQL、SQLite（開発用）を含むさまざまなデータベースをサポートしており、PyPI、Dockerイメージ、またはHelm Charts経由でデプロイできます。