datafusion — Apache DataFusion은 Apache Arrow를 인메모리 형식으로 사용하는 Rust 기반의 확장 가능한 쿼리 엔진으로, 빠른 분석 시스템 구축을 위한 SQL 및 DataFrame API를 제공합니다.

Apache DataFusion은 Apache Arrow를 인메모리 형식으로 사용하는 Rust 기반의 확장 가능한 쿼리 엔진으로, 빠른 분석 시스템 구축을 위한 SQL 및 DataFrame API를 제공합니다.

프로젝트 소개

Apache DataFusion은 고성능 데이터베이스 및 분석 시스템을 구축하는 개발자를 위해 설계된 확장 가능한 쿼리 엔진입니다. Rust로 작성되었으며 인메모리 형식으로 Apache Arrow를 활용하며, 전체 쿼리 플래너와 컬럼형, 스트리밍, 멀티스레드, 벡터화 실행 엔진을 특징으로 합니다. 주요 기능은 다음과 같습니다: - API: 쿼리를 위한 SQL 및 DataFrame 인터페이스를 모두 제공합니다. - 데이터 지원: CSV, Parquet, JSON 및 Avro 형식에 대한 기본 지원을 제공합니다. - 확장성: 데이터 소스, 쿼리 언어, 함수 및 연산자의 사용자 정의가 가능합니다. - 생태계: DataFusion Python, DataFusion Java, DataFusion Comet(Spark 가속기) 및 DataFusion Ballista(분산 실행)를 포함한 하위 프로젝트와 통합되어 있습니다. 이 엔진은 도메인 특화 쿼리 엔진, 새로운 데이터베이스 플랫폼 및 데이터 파이프라인을 생성하는 데 적합합니다. 또한 압축, 암호화 표현식 및 Parquet 모듈형 암호화를 위한 다양한 선택적 기능을 포함하고 있습니다.