好开源，值得被发现。

Pathway 是一款支持流处理、实时分析与 AI 流水线（含 LLM 及 RAG 应用）的 Python ETL 框架。它基于 Rust 引擎运行 Python 代码实现增量计算，支持用同一套代码处理批流数据，可通过 Docker 与 Kubernetes 部署。

本项目提供基于AWS的无服务器点击流数据管道，通过API Gateway接收实时点击事件，经Kinesis Data Streams摄取后由Firehose转换为Parquet格式并存储至S3数据湖。AWS Glue编目架构，Athena支持SQL查询，EventBridge调度Lambda自动修复分区。项目使用AWS SAM和CloudFormation实现可重复、版本控制的IaC部署。

RisingWave 是一个专为 Agentic AI 设计的事件流平台，它将数据摄取、处理和提供服务集成到单一系统中，旨在为实时应用和 AI Agent 提供新鲜且可查询的数据。

Vector是一款用Rust编写的开源可观测性数据管道，可收集、转换和路由日志与指标，作为agent或aggregator运行，帮助团队控制遥测数据流向并降低厂商成本。