好开源，值得被发现。

本项目提供基于AWS的无服务器点击流数据管道，通过API Gateway接收实时点击事件，经Kinesis Data Streams摄取后由Firehose转换为Parquet格式并存储至S3数据湖。AWS Glue编目架构，Athena支持SQL查询，EventBridge调度Lambda自动修复分区。项目使用AWS SAM和CloudFormation实现可重复、版本控制的IaC部署。

Flow 是一个用 Go 编写的单二进制、高性能 ETL 引擎和工作流编排器。它具有嵌入式可视化 Web 构建器、声明性 XML 管道、跨数据库支持和内置审计遥测功能。

Kestra 是一个开源的事件驱动编排平台，旨在为数据、AI 和基础设施工作流提供支持，采用声明式 YAML 接口进行配置。

CocoIndex 是一个专为长程 AI 代理设计的增量索引框架，能够将代码库、会议笔记、Slack、PDF 及视频等多种数据源转换为 LLM 应用的实时上下文，通过仅处理变更数据来大幅降低计算与嵌入成本。

Vector是一款用Rust编写的开源可观测性数据管道，可收集、转换和路由日志与指标，作为agent或aggregator运行，帮助团队控制遥测数据流向并降低厂商成本。

轻量级Python执行管道库，使用@action装饰器定义任务，支持重试、并行执行、可观测性，并可一键部署到包括AWS Lambda、GCP Cloud Run和Kubernetes在内的34+云平台。

Dagster 是一款云原生数据流水线编排工具，旨在支持数据资产在整个生命周期中的开发、生产和观测。

Apache Airflow 是一个用于以代码形式编程编写、调度和监控工作流的平台，常用于数据管道以及 AI/ML 编排。

Pathway 是一款支持流处理、实时分析与 AI 流水线（含 LLM 及 RAG 应用）的 Python ETL 框架。它基于 Rust 引擎运行 Python 代码实现增量计算，支持用同一套代码处理批流数据，可通过 Docker 与 Kubernetes 部署。