Código aberto. Novas possibilidades.

Dagster é um orquestrador de pipelines de dados nativo da nuvem, projetado para o desenvolvimento, produção e observação de ativos de dados ao longo de todo o seu ciclo de vida.

Apache Airflow é uma plataforma para criar, agendar e monitorar fluxos de trabalho programaticamente como código, comumente usada para pipelines de dados e orquestração de AI/ML.

Pathway é um framework ETL em Python para processamento de streaming, análise em tempo real e pipelines de IA incluindo LLM e RAG. Ele executa código Python em um motor Rust para computação incremental, suporta dados em batch e streaming com o mesmo código, e faz deploy via Docker e Kubernetes.