dagster — Dagster es un orquestador de pipelines de datos nativo de la nube diseñado para el desarrollo, la producción y la observación de activos de datos a lo largo de todo su ciclo de vida.

Dagster es un orquestador de pipelines de datos nativo de la nube diseñado para el desarrollo, la producción y la observación de activos de datos a lo largo de todo su ciclo de vida.

Sobre el proyecto

Dagster es una plataforma de orquestación centrada en el desarrollo y mantenimiento de activos de datos, tales como tablas, conjuntos de datos, modelos de machine learning e informes. Utiliza un modelo de programación declarativo donde los usuarios definen los activos de datos como funciones de Python, permitiendo que el sistema gestione los tiempos de ejecución y las actualizaciones de los activos. Las capacidades clave incluyen: - Linaje integrado y observabilidad para rastrear el flujo de datos y diagnosticar problemas de rendimiento. - Un enfoque declarativo para la creación de activos y la gestión de tareas. - Soporte para el ciclo de vida completo de desarrollo, incluyendo desarrollo local, pruebas unitarias, pruebas de integración y despliegue en producción. - Un plano de control unificado para metadatos centralizados, catalogación y diagnósticos. - Una biblioteca de integraciones para diversas herramientas de datos e infraestructura populares. Dagster está disponible en PyPI y es compatible con las versiones de Python 3.9 a 3.14.