pathway

Pathway 是 Python 生态下的实时数据框架，可通过单一 API 同时处理流式与批量数据处理。它基于 Rust 引擎构建，采用 Differential Dataflow 实现增量计算，可在数据到达时实时更新流水线。 该框架提供 Kafka、PostgreSQL、Google Drive、SharePoint 以及 Airbyte（300+ 数据源）的连接器，同时支持通过 Python 开发自定义连接器。 针对 AI 流水线场景，Pathway 内置 LLM xpack，封装了主流 LLM 服务、嵌入器、拆分器、解析器，以及内存级实时向量索引，可与 LangChain、LlamaIndex 集成用于 RAG 应用开发。 有状态转换功能支持关联、窗口计算、排序，兼容任意 Python 函数或库。持久化能力支持流水线在崩溃或更新后重启。免费版本的一致性保障为至少一次，企业版提供恰好一次的一致性保障。 部署选项包括通过 `pw.run()` 本地运行、Docker 部署以及 Kubernetes 部署。监控仪表盘可展示每个连接器的消息吞吐量与延迟。该引擎原生支持多线程、多进程与分布式计算。