这个项目能做什么

Sail 是一个开源、Rust 原生的分布式计算引擎，旨在作为 Apache Spark 的直接替代品。它在单一多模态引擎上统一了批处理、流处理和计算密集型 AI 工作负载。Sail 兼容 Spark Connect 协议，允许现有 PySpark 应用无需修改代码即可连接。该引擎构建于 Apache Arrow 和 Apache DataFusion 之上，利用列式执行和 SIMD 指令实现高性能。它支持 Python UDF、UDAF、UDWF 和 UDTF，并实现零拷贝数据共享。Sail 原生支持 Delta Lake 和 Apache Iceberg 表格式，并与 AWS Glue、Unity Catalog、Hive Metastore 和 Microsoft OneLake 等目录提供程序集成。存储后端包括 AWS S3、Azure、Google Cloud Storage、HDFS 等。该项目声称相比 Spark 有显著的性能提升，衍生 TPC-H 基准测试显示查询执行速度约快 10 倍，基础设施成本降低 98%。Sail 可以通过 CLI 或 Python API 在本地部署，也可以在 Kubernetes 上部署以进行分布式处理。文档包括安装指南、迁移指南和详细的功能参考。