프로젝트 소개
Dagster는 테이블, 데이터셋, 머신러닝 모델 및 보고서와 같은 데이터 자산의 개발과 유지관리에 집중하는 오케스트레이션 플랫폼입니다. 사용자가 데이터 자산을 Python 함수로 정의하는 선언적 프로그래밍 모델을 활용하여, 시스템이 실행 타이밍과 자산 업데이트를 관리할 수 있도록 합니다.
주요 기능은 다음과 같습니다:
- 데이터 흐름을 추적하고 성능 문제를 진단하기 위한 통합 리니지(lineage) 및 관찰 가능성 제공.
- 자산 생성 및 작업 관리를 위한 선언적 접근 방식.
- 로컬 개발, 단위 테스트, 통합 테스트 및 프로덕션 배포를 포함한 전체 개발 라이프사이클 지원.
- 중앙 집중식 메타데이터, 카탈로깅 및 진단을 위한 통합 제어 평면.
- 다양한 인기 데이터 도구 및 인프라를 위한 통합 라이브러리.
Dagster는 PyPI에서 사용할 수 있으며 Python 버전 3.9부터 3.14까지 지원합니다.