pytorch-lightning

PyTorch Lightning es un framework de deep learning diseñado para preentrenar y ajustar modelos de IA de cualquier tamaño, escalando desde una sola CPU hasta miles de GPUs con cambios mínimos de código. Organiza el código de PyTorch para separar la lógica científica del modelo de la infraestructura de ingeniería, automatizando la retropropagación, precisión mixta, multi-GPU y entrenamiento distribuido. El proyecto ofrece dos paquetes principales: PyTorch Lightning, que proporciona una abstracción de alto nivel de Trainer y LightningModule, y Lightning Fabric, que brinda control de nivel experto sobre el bucle de entrenamiento y la estrategia de escalado para modelos complejos como LLMs, modelos de difusión y transformers. Los usuarios pueden elegir el nivel de abstracción que necesiten. Las características clave incluyen entrenamiento agnóstico al hardware en CPU, GPU, TPU y configuraciones multi-nodo; soporte para estrategias distribuidas como DDP, FSDP y DeepSpeed; precisión mixta; integraciones de registro de experimentos; detención temprana; guardado de puntos de control; y exportación a TorchScript u ONNX. El README señala una sobrecarga mínima de velocidad de ejecución en comparación con PyTorch puro. La instalación se realiza mediante pip o conda. El repositorio incluye numerosos ejemplos que cubren clasificación de imágenes, segmentación, detección de objetos, clasificación de texto, resumen, generación de audio, ajuste fino de LLMs, generación de imágenes, sistemas de recomendación y pronóstico de series temporales. Está licenciado bajo Apache 2.0 y se prueba rigurosamente en varias versiones de Python y PyTorch, sistemas operativos y aceleradores de hardware.