accelerate

🤗 Accelerate es una biblioteca de Hugging Face diseñada para usuarios de PyTorch que desean ejecutar sus scripts de entrenamiento en cualquier dispositivo o configuración distribuida sin necesidad de reescribir código repetitivo. Abstrae solo las partes necesarias—multi-GPU, TPU y precisión mixta (fp8, fp16, bf16)—mientras deja el resto del código intacto. Con solo unas pocas líneas añadidas a un script estándar de PyTorch, se puede ejecutar en configuraciones de CPU único, GPU único, multi-GPU o TPU, con o sin precisión mixta. La biblioteca proporciona una clase `Accelerator` que gestiona la colocación de dispositivos, la precisión mixta y la configuración del entrenamiento distribuido. También incluye una herramienta de línea de comandos (`accelerate config` y `accelerate launch`) para configurar e iniciar rápidamente entornos de entrenamiento, eliminando la necesidad de recordar `torch.distributed.run` o los lanzadores específicos de TPU. Para usuarios de cuadernos, una función `notebook_launcher` permite el entrenamiento distribuido desde cuadernos de Colab o Kaggle. Accelerate admite DeepSpeed y PyTorch Fully Sharded Data Parallel (FSDP) para un entrenamiento distribuido avanzado, así como Megatron-LM. Se utiliza como backend para el entrenamiento de PyTorch en Hugging Face Transformers y está integrado en muchos otros frameworks como fastai, Catalyst y Stable Diffusion Web UI. La instalación es sencilla mediante `pip install accelerate`, y requiere Python 3.8+ y PyTorch 1.10.0+. El proyecto es de código abierto bajo la licencia Apache 2.0 y cuenta con documentación extensa y ejemplos.