prefect

Prefect est un framework d'orchestration de flux de travail qui permet aux utilisateurs de transformer des scripts Python en pipelines de données prêts pour la production. Il fournit un ensemble de décorateurs, tels que @flow et @task, pour organiser et observer l'activité des flux de travail. Les capacités clés incluent : - Automatisation : Prise en charge de la planification (via cron), de la mise en cache et des automatisations basées sur des événements. - Résilience : Gestion intégrée des tentatives (retries), des dépendances et d'une logique de branchement complexe. - Surveillance : L'activité du flux de travail peut être suivie via un serveur Prefect auto-hébergé ou un tableau de bord Prefect Cloud géré. - Déploiement : Capacité de transformer des flux en déploiements pouvant être exécutés manuellement via l'UI/CLI ou automatiquement selon un calendrier. Le framework nécessite Python 3.10+ et propose une alternative légère appelée prefect-client pour communiquer avec des serveurs distants dans des environnements éphémères.