dagster

Dagster est une plateforme d'orchestration axée sur le développement et la maintenance d'actifs de données tels que des tables, des ensembles de données, des modèles d'apprentissage automatique et des rapports. Elle utilise un modèle de programmation déclaratif où les utilisateurs définissent les actifs de données comme des fonctions Python, permettant au système de gérer le moment de l'exécution et les mises à jour des actifs. Les capacités clés incluent : - Un lignage et une observabilité intégrés pour suivre le flux de données et diagnostiquer les problèmes de performance. - Une approche déclarative de la création d'actifs et de la gestion des tâches. - La prise en charge de l'ensemble du cycle de développement, y compris le développement local, les tests unitaires, les tests d'intégration et le déploiement en production. - Un plan de contrôle unifié pour la centralisation des métadonnées, le catalogage et les diagnostics. - Une bibliothèque d'intégrations pour divers outils de données et infrastructures populaires. Dagster est disponible sur PyPI et prend en charge les versions de Python 3.9 à 3.14.