Об этом проекте

Zarr — это реализация формата хранения Zarr на Python, предоставляющая сжатые, разбитые на чанки N-мерные массивы, которые хорошо подходят для параллельных вычислений и объектного хранилища. Она поддерживает создание массивов с типами данных, совместимыми с NumPy, разбиение на чанки по любому измерению и кодирование чанков с помощью различных компрессоров. Массивы могут храниться в памяти, на диске, внутри zip-файлов или в объектном хранилище, таком как S3. Библиотека поддерживает параллельное чтение и запись из нескольких потоков или процессов, а массивы можно организовывать в иерархические группы. Установка доступна через pip или conda. Репозиторий также включает подпакеты для инструментов работы с метаданными, ленивого индексирования разбитых на чанки массивов и HTTP-сервер, ориентированный на данные Zarr.