accelerate

🤗 Accelerate — это библиотека от Hugging Face, предназначенная для пользователей PyTorch, которые хотят запускать свои обучающие скрипты на любом устройстве или в любой распределённой конфигурации без переписывания шаблонного кода. Она абстрагирует только необходимые части — мульти-GPU, TPU и смешанную точность (fp8, fp16, bf16) — оставляя остальной код без изменений. Добавив всего несколько строк в стандартный скрипт PyTorch, вы можете запускать обучение на одном CPU, одной GPU, нескольких GPU или TPU, с использованием смешанной точности или без неё. Библиотека предоставляет класс `Accelerator`, который управляет размещением на устройстве, смешанной точностью и настройкой распределённого обучения. Также включён CLI-инструмент (`accelerate config` и `accelerate launch`) для быстрой настройки и запуска сред обучения, что избавляет от необходимости запоминать `torch.distributed.run` или специальные лаунчеры для TPU. Для пользователей ноутбуков функция `notebook_launcher` позволяет запускать распределённое обучение из ноутбуков Colab или Kaggle. Accelerate поддерживает DeepSpeed и PyTorch Fully Sharded Data Parallel (FSDP) для продвинутого распределённого обучения, а также Megatron-LM. Он используется как бэкенд для обучения PyTorch в Hugging Face Transformers и интегрирован во многие другие фреймворки, такие как fastai, Catalyst и Stable Diffusion Web UI. Установка проста: `pip install accelerate`, требуется Python 3.8+ и PyTorch 1.10.0+. Проект с открытым исходным кодом под лицензией Apache 2.0 и имеет обширную документацию и примеры.