Открытый код. Новые возможности.

Apache Arrow — это универсальный колоночный формат памяти и многоязыковой инструментарий, разработанный для эффективного обмена данными и аналитики в оперативной памяти.

Polars — это чрезвычайно быстрый аналитический движок запросов для DataFrames, написанный на Rust, с многопоточным выполнением и поддержкой наборов данных, размер которых превышает объем оперативной памяти.

Модульный набор тестов на Python/pytest для проверки драйверов ADBC. Он выполняет SQL-запросы для тестирования поддержки функций и типов данных, генерирует документацию и поддерживает переопределения для конкретных драйверов.

Драйвер ADBC для Apache DataFusion, предоставляющий стандартный интерфейс для подключения к движкам данных и выполнения запросов с использованием Apache Arrow. Реализован на Rust и в настоящее время находится на экспериментальной стадии.

Apache DataFusion — это расширяемый движок запросов на языке Rust, использующий Apache Arrow в качестве формата данных в памяти и предоставляющий SQL и DataFrame API для создания быстрых аналитических систем.

NVIDIA cuDF — это библиотека DataFrame с GPU-ускорением для обработки табличных данных, часть набора CUDA-X. Она предоставляет API, совместимые с pandas, GPU-движок для Polars и бэкенд для Dask для высокопроизводительной обработки данных.

Arrow — библиотека Python, упрощающая создание, обработку, форматирование и преобразование дат, времени и меток времени с поддержкой часовых поясов и удобным API.