feldera

Feldera 是一个围绕增量计算构建的查询引擎。一个管道由 SQL 表和视图组成，这些表和视图可以深度嵌套。当插入、更新或删除到达时，Feldera 会增量更新所有受影响的视图，而不是在旧数据上重新计算。这种设计支持对实时和历史数据进行统一的离线和在线处理。 关键能力包括完整的 SQL 评估，支持连接、聚合、窗口函数、相关子查询、复杂类型、时间序列操作符、UDF 和递归查询。该引擎可以将大于 RAM 的数据集溢写到磁盘，提供强一致性保证，并支持容错重启作为预览功能。可以使用 Apache DataFusion 通过临时 SQL 查询检查正在运行或已暂停的管道。 Feldera 随附用于源和目标的连接器，例如 Kafka、HTTP、CDC 流、S3、数据湖和数据仓库。它提供 WebConsole、Python SDK 和 API 文档。该项目使用 Rust 实现，并基于用于增量视图维护的 DBSP 形式化模型。README 包含 Docker 快速入门说明、源码构建要求，以及教程、SQL 参考和基准测试的链接。