accelerate

🤗 Accelerate 是 Hugging Face 推出的一个库，专为希望在任意设备或分布式配置上运行训练脚本、而无需重写样板代码的 PyTorch 用户设计。它仅抽象必要的部分——多GPU、TPU 和混合精度（fp8、fp16、bf16）——而其余代码保持不变。只需在标准 PyTorch 脚本中添加几行代码，即可在单 CPU、单 GPU、多 GPU 或 TPU 环境中运行，无论是否启用混合精度。 该库提供了一个 `Accelerator` 类，负责设备放置、混合精度和分布式训练设置。它还包含一个命令行工具（`accelerate config` 和 `accelerate launch`），用于快速配置和启动训练环境，免去记忆 `torch.distributed.run` 或 TPU 特定启动器的麻烦。对于笔记本用户，`notebook_launcher` 函数支持从 Colab 或 Kaggle 笔记本进行分布式训练。 Accelerate 支持 DeepSpeed 和 PyTorch 全分片数据并行（FSDP）以实现高级分布式训练，也支持 Megatron-LM。它作为 Hugging Face Transformers 的 PyTorch 训练后端，并集成到许多其他框架中，如 fastai、Catalyst 和 Stable Diffusion Web UI。 安装简单，通过 `pip install accelerate` 即可，要求 Python 3.8+ 和 PyTorch 1.10.0+。该项目在 Apache 2.0 许可下开源，并提供丰富的文档和示例。