spark

Apache Spark 是一个用于大规模数据处理的统一分析引擎。它提供 Scala、Java 和 Python 的高级 API，支持针对数据分析计算图的优化引擎。 关键组件和工具包括： - Spark SQL：用于 SQL 和 DataFrames。 - pandas API on Spark：用于基于 pandas 的工作负载。 - MLlib：一个机器学习库。 - GraphX：用于图处理。 - Structured Streaming：用于流处理。 Spark 使用 Apache Maven 构建，并支持多种部署模式，包括本地执行、YARN 和 Kubernetes。它与 Hadoop 核心库集成，以与 HDFS 和其他 Hadoop 支持的存储系统进行交互。