automodel

NeMo AutoModel 是 NVIDIA NeMo Framework 下的开源训练库，被描述为面向大规模训练的 PyTorch DTensor 原生 SPMD 库。它面向大语言模型、视觉语言模型、扩散模型和检索模型的训练与微调，旨在同时支持小型实验以及多 GPU、多节点部署。 README 所体现的关键特性： - 开箱即用的 Hugging Face 支持，并为许多模型系列和检查点提供配方。 - PyTorch 原生并行，包括张量并行、流水线并行、专家并行、上下文并行和数据并行，以及打包序列训练。 - 微调方法，如全参数 SFT 和 LoRA/PEFT，并提供面向 LLM 和 VLM 工作负载的示例 YAML 配方。 - 支持 Mixture-of-Experts 模型、混合注意力骨干网络，以及投机解码草稿模型训练（EAGLE 变体、DFlash、DSpark）。 - 扩散和文本到图像微调示例，以及对检索模型的覆盖。 - 仓库中提供文档、模型覆盖页面、性能摘要、教程和面向智能体的技能。 该项目使用 Python（3.10+）编写，面向需要可复现、可扩展训练工作流的研究人员和工程师。README 强调配方、指南和示例，而非基准测试声明。