这个项目能做什么
Dagster 是一个专注于数据资产(如表、数据集、机器学习模型和报告)开发与维护的编排平台。它采用声明式编程模型,用户将数据资产定义为 Python 函数,从而允许系统管理执行时机和资产更新。
核心能力包括:
- 集成血缘分析和可观测性,用于追踪数据流并诊断性能问题。
- 采用声明式方法进行资产创建和任务管理。
- 支持完整的开发生命周期,包括本地开发、单元测试、集成测试和生产部署。
- 统一的控制平面,用于集中化的元数据管理、编目和诊断。
- 提供针对各种流行数据工具和基础设施的集成库。
Dagster 可在 PyPI 上获取,并支持 Python 3.9 至 3.14 版本。