pytorch-lightning

PyTorch Lightning 是一个深度学习框架，旨在对任意规模的 AI 模型进行预训练和微调，从单个 CPU 扩展到数千个 GPU，且只需极少的代码更改。它组织 PyTorch 代码，将科学模型逻辑与工程基础设施分离，自动化反向传播、混合精度、多 GPU 和分布式训练。 该项目提供两个核心包：PyTorch Lightning，提供高级 Trainer 和 LightningModule 抽象；以及 Lightning Fabric，为复杂模型（如 LLM、扩散模型和 Transformer）提供对训练循环和扩展策略的专家级控制。用户可以选择所需的抽象级别。 关键特性包括跨 CPU、GPU、TPU 和多节点设置的硬件无关训练；支持 DDP、FSDP 和 DeepSpeed 等分布式策略；混合精度；实验日志集成；早停；检查点保存；以及导出到 TorchScript 或 ONNX。README 指出与纯 PyTorch 相比，运行速度开销极小。 可通过 pip 或 conda 安装。该仓库包含众多示例，涵盖图像分类、分割、目标检测、文本分类、摘要生成、音频生成、LLM 微调、图像生成、推荐系统以及时间序列预测。它采用 Apache 2.0 许可，并针对多种 Python 和 PyTorch 版本、操作系统及硬件加速器进行了严格测试。