Об этом проекте
Dagster представляет собой платформу оркестрации, ориентированную на разработку и поддержку таких информационных активов, как таблицы, наборы данных, модели машинного обучения и отчеты. Она использует декларативную модель программирования, в которой пользователи определяют активы данных как функции Python, что позволяет системе управлять временем выполнения и обновлением активов.
Ключевые возможности включают:
- Интегрированное отслеживание происхождения (lineage) и наблюдаемость для мониторинга потоков данных и диагностики проблем с производительностью.
- Декларативный подход к созданию активов и управлению задачами.
- Поддержка полного жизненного цикла разработки, включая локальную разработку, модульное тестирование, интеграционное тестирование и развертывание в промышленной среде.
- Единая панель управления для централизованного управления метаданными, каталогизации и диагностики.
- Библиотека интеграций для различных популярных инструментов и инфраструктуры данных.
Dagster доступен в PyPI и поддерживает версии Python с 3.9 по 3.14.