dagster

Dagster é uma plataforma de orquestração focada no desenvolvimento e manutenção de ativos de dados, como tabelas, conjuntos de dados, modelos de machine learning e relatórios. Ele utiliza um modelo de programação declarativo onde os usuários definem ativos de dados como funções Python, permitindo que o sistema gerencie o tempo de execução e as atualizações dos ativos. As principais capacidades incluem: - Linhagem integrada e observabilidade para rastrear o fluxo de dados e diagnosticar problemas de desempenho. - Uma abordagem declarativa para a criação de ativos e gerenciamento de tarefas. - Suporte para todo o ciclo de vida de desenvolvimento, incluindo desenvolvimento local, testes unitários, testes de integração e implantação em produção. - Um plano de controle unificado para metadados centralizados, catalogação e diagnósticos. - Uma biblioteca de integrações para várias ferramentas de dados e infraestruturas populares. Dagster está disponível no PyPI e suporta versões do Python de 3.9 a 3.14.