Apache Beam 是一个统一的编程模型,用于定义批处理和流式数据并行处理流水线。
好开源,值得被发现。
发现优质开源项目,匿名提交开源项目,认领编辑你的开源项目。
带着好奇心,发现开源世界。
THE FIRST COLLECTIONDelta Lake 是一个开源存储框架,支持 Lakehouse 架构。它与 Spark、PrestoDB、Flink、Trino 和 Hive 等计算引擎集成,提供 ACID 事务、时间旅行和模式演进,实现可靠的数据管理。
Arkime 是一个大规模开源网络分析和数据包捕获系统,用于以 PCAP 格式存储和索引网络流量。
Trino 是一款专为大数据分析设计的快速分布式 SQL 查询引擎(原名 PrestoSQL)。
CatBoost是Yandex开发的开源梯度提升库,支持分类、回归和排序,原生处理类别特征,支持CPU/GPU训练、Apache Spark分布式训练,并提供Python、R、Java和C++接口。
精选阅读清单,涵盖构建可扩展、可靠、高性能大规模系统的设计原则、科技巨头案例研究与面试资源。
Apache DataFusion 是一个用 Rust 编写的可扩展查询引擎,采用 Apache Arrow 作为其内存格式,提供 SQL 和 DataFrame API,用于构建快速的分析系统。
ClickHouse 是一款开源的列式数据库管理系统,旨在实现实时分析数据的报告生成。
Cython是一个优化编译器,允许开发者使用类似Python的语法编写C扩展,可将Python代码翻译为C/C++以生成高效机器码。
本文档介绍了Apache Doris官网(doris.apache.org)的源代码仓库,使用Docusaurus 3构建,包含中英文文档、博客和社区的源代码。
Apache Spark 是一个专为大规模数据处理设计的统一分析引擎,提供高级 API 和针对通用计算图的优化引擎。
Apache Flink 是一个开源流处理框架,为数据流处理和批处理提供了强大的能力。