prefect

Prefect는 사용자가 Python 스크립트를 프로덕션 준비가 된 데이터 파이프라인으로 변환할 수 있게 해주는 워크플로우 오케스트레이션 프레임워크입니다. 이 프레임워크는 워크플로우 활동을 구성하고 관찰하기 위해 @flow 및 @task와 같은 일련의 데코레이터를 제공합니다. 주요 기능은 다음과 같습니다: - 자동화: 스케줄링(cron을 통해), 캐싱 및 이벤트 기반 자동화 지원. - 탄력성: 재시도, 종속성 및 복잡한 분기 로직에 대한 내장 처리 기능. - 모니터링: 셀프 호스팅 Prefect 서버 또는 관리형 Prefect Cloud 대시보드를 통해 워크플로우 활동 추적 가능. - 배포: 플로우를 UI/CLI를 통해 수동으로 실행하거나 일정에 따라 자동으로 실행할 수 있는 배포(deployments)로 변환하는 기능. 이 프레임워크는 Python 3.10 이상이 필요하며, 임시 환경에서 원격 서버와 통신하기 위한 prefect-client라는 경량 대안을 제공합니다.