airflow_prac

该仓库是一个用于 Apache Airflow 的个人练习实验，聚焦于流水线编排。它被定位为面向现代数据工程栈的技能提升路线图的一部分，该栈还包括 dbt、PostgreSQL、PySpark 和 Databricks。 其既定目标是通过动手实践而非生产工具来构建实用的 Airflow 技能。仓库结构极简：单个 dags/ 目录存放 DAG 定义和流水线逻辑。 所列涵盖的主题包括 DAG 结构与最佳实践、任务依赖与执行顺序、使用 cron 表达式进行调度、PythonOperator 和 BashOperator 的使用、用于任务间通信的 XCom，以及连接和变量的管理。 README 记录了本地工作流程：通过 pip 安装 Apache Airflow，使用 airflow db init 初始化元数据库，在 8080 端口启动 Web 服务器，并在单独的终端中运行调度器。放置在 ~/airflow/dags/ 文件夹中的 DAG 文件预期会出现在 Airflow UI 中。 学习路线图将 Airflow 安装与配置以及基本 DAG 创建与调度标记为已完成，而动态 DAG 与任务组、使用 Docker Compose 运行 Airflow，以及与 PostgreSQL 和 GCP 的集成仍未勾选。 引用的相关项目包括 dbt_postgres_labs（dbt 加 PostgreSQL 转换层）和 Python-Practice（面向数据工程的 Python 基础）。徽章表明技术栈为 Apache Airflow、Python 和 Docker。 由于这是一个学习仓库，最好将其视为示例 DAG 模式和推荐本地搭建顺序的参考，而非可复用的库或可部署的平台。README 中未描述任何许可证、测试套件、CI 配置或贡献指南。