Código aberto. Novas possibilidades.

Pipeline de dados clickstream totalmente serverless e orientado a eventos na AWS que ingere, transforma e armazena eventos em Parquet usando API Gateway, Kinesis, Firehose, Lambda e Athena, com IaC pronto para produção via AWS SAM.

Flow é um motor ETL de alto desempenho e orquestrador de fluxo de trabalho, escrito em Go, que se apresenta como um único binário. Ele inclui um construtor web visual embutido, pipelines declarativos em XML, suporte a vários bancos de dados e telemetria de auditoria integrada.

Kestra é uma plataforma de orquestração open-source e orientada a eventos, projetada para fluxos de trabalho de dados, IA e infraestrutura, utilizando uma interface declarativa em YAML.

CocoIndex é um framework de indexação incremental de código aberto projetado para fornecer contextos continuamente atualizados para agentes de IA e aplicações LLM, reprocesando apenas dados modificados.

Vector é um pipeline de dados de observabilidade de código aberto escrito em Rust. Ele coleta, transforma e encaminha logs e métricas como agente ou agregador, permitindo que as equipes controlem o destino da telemetria e reduzam custos de fornecedor.

Biblioteca Python leve para pipelines de execução que usa decoradores @action, suporta retry, execução paralela, observabilidade e deploy em 34+ plataformas.

Dagster é um orquestrador de pipelines de dados nativo da nuvem, projetado para o desenvolvimento, produção e observação de ativos de dados ao longo de todo o seu ciclo de vida.

Apache Airflow é uma plataforma para criar, agendar e monitorar fluxos de trabalho programaticamente como código, comumente usada para pipelines de dados e orquestração de AI/ML.

Pathway é um framework ETL em Python para processamento de streaming, análise em tempo real e pipelines de IA incluindo LLM e RAG. Ele executa código Python em um motor Rust para computação incremental, suporta dados em batch e streaming com o mesmo código, e faz deploy via Docker e Kubernetes.