这个项目能做什么

Data Engineering Zoomcamp 是 DataTalks.Club 推出的免费开源 9 周课程，通过让学习者从零构建端到端数据管道来教授数据工程基础。相关材料、视频讲座和作业均可在代码仓库中免费获取。 该课程面向希望学习如何构建数据管道并使用现代数据工程技术栈的开发者、分析师和数据科学家。先修要求是具备基本编程经验并熟悉 SQL；掌握 Python 会有帮助，但并非必需，也不需要具备数据工程经验。 可以通过两种方式学习。直播班次设有截止日期、评分作业、排行榜、同行评审和证书资格；讲座为预先录制，因此“直播”指的是班次结构，而不是实时授课。自定进度学习者可以随时开始并使用相同材料，作业可供练习但不计分，也没有证书。 课程大纲按模块和研讨会组织： - 模块 1：容器化与基础设施即代码——介绍 GCP、Docker 和 Docker Compose、使用 Docker 运行 PostgreSQL，以及使用 Terraform 进行基础设施设置。 - 模块 2：工作流编排——数据湖与工作流编排，使用 Kestra。 - 研讨会 1：数据摄取——API 读取、管道可扩展性、数据规范化与增量加载，使用 dlt。 - 模块 3：数据仓库——介绍 BigQuery、分区、聚类与最佳实践，以及 BigQuery 中的机器学习。 - 模块 4：分析工程——分析工程与数据建模、使用 DuckDB 和 BigQuery 的 dbt、测试、文档与部署。 - 模块 5：数据平台——使用 Bruin 构建端到端管道，涵盖摄取、转换与质量，以及部署到云（BigQuery）。 - 模块 6：批处理——Apache Spark、DataFrames 和 SQL，以及 GroupBy 和 join 的内部机制。 - 模块 7：流处理——Kafka、Kafka Streams 和 KSQL，以及使用 Avro 进行 schema 管理。 期末项目将所学概念应用于真实场景，并包含同行评审和反馈流程。在直播班次期间完成期末项目的学习者将获得证书。 该仓库还链接到 YouTube 讲座播放列表、课程文档、用于查看截止日期和作业的课程平台、用于讨论和故障排查的 Slack 频道、Telegram 公告以及 FAQ。列出的讲师包括 Alexey Grigorev、Michael Shoemaker、Will Russell、Anna Geller、Juan Manuel Perafan 和 Arsalan Noorafkan，并致谢了多位往期讲师。课程赞助方包括 Kestra、Bruin 和 dltHub。该项目是 DataTalks.Club 的一部分，后者是一个组织活动和免费课程的全球在线数据社区。