datafusion

Apache DataFusion 是一个为构建高性能数据库和分析系统的开发人员而设计的可扩展查询引擎。它由 Rust 编写，并利用 Apache Arrow 作为其内存格式，具有完整的查询规划器以及一个列式、流式、多线程且向量化的执行引擎。 核心能力包括： - API：提供 SQL 和 DataFrame 接口用于查询。 - 数据支持：内置对 CSV、Parquet、JSON 和 Avro 格式的支持。 - 可扩展性：允许自定义数据源、查询语言、函数和运算符。 - 生态系统：与多个子项目集成，包括 DataFusion Python、DataFusion Java、DataFusion Comet（Spark 加速器）以及 DataFusion Ballista（分布式执行）。 该引擎适用于创建领域特定查询引擎、新型数据库平台和数据管道。它还包含多种可选功能，用于压缩、加密表达式以及 Parquet 模块化加密。