airflow_prac

このリポジトリは、パイプラインオーケストレーションに焦点を当てたApache Airflowの個人練習用ラボです。dbt、PostgreSQL、PySpark、Databricksも含むモダンなデータエンジニアリングスタックへのスキルアップ roadmap の一環として位置づけられています。 目的は、本番用ツールではなく、ハンズオンを通じて実践的なAirflowスキルを身につけることだと述べられています。リポジトリ構造は最小限で、単一のdags/ディレクトリにDAG定義とパイプラインロジックが格納されています。 対象トピックとして、DAG構造とベストプラクティス、タスク依存関係と実行順序、cron式によるスケジューリング、PythonOperatorとBashOperatorの使用、タスク間通信のためのXCom、接続と変数の管理が挙げられています。 READMEにはローカルワークフローが記載されています。pipでApache Airflowをインストールし、airflow db initでメタデータベースを初期化し、ポート8080でWebサーバーを起動し、別のターミナルでスケジューラーを実行します。~/airflow/dags/フォルダに配置されたDAGファイルは、Airflow UIに表示されることが想定されています。 学習ロードマップでは、Airflowのセットアップと設定、および基本的なDAG作成とスケジューリングが完了としてマークされている一方、動的DAGとタスクグループ、Docker ComposeでのAirflow、PostgreSQLおよびGCPとの統合は未チェックのままです。 参照されている関連プロジェクトは、dbt_postgres_labs（dbtとPostgreSQLの変換レイヤー）とPython-Practice（データエンジニアリングのためのPython基礎）です。バッジは、技術スタックとしてApache Airflow、Python、Dockerを示しています。 これは学習用リポジトリであるため、再利用可能なライブラリやデプロイ可能なプラットフォームとしてではなく、サンプルDAGパターンと推奨されるローカルセットアップ手順の参照資料として扱うのが最適です。READMEには、ライセンス、テストスイート、CI設定、コントリビューションガイドラインについての記載はありません。