sana

SANA是NVIDIA Labs推出的面向效率的开源代码库，用于高分辨率图像和视频生成。它为一组扩散Transformer模型提供了完整的训练与推理流程，包括SANA、SANA-1.5、SANA-Sprint、SANA-Video、SANA-Video 2.0、SANA-WM、SANA-Streaming和Sol-RL。 主要功能： - 支持最高4K分辨率的文本到图像生成，提供600M和1.6B规模的模型变体，以及多语言（英语、中文、emoji）微调检查点。 - SANA-1.5：通过训练时和推理时计算扩展提升生成质量。 - SANA-Sprint：通过sCM蒸馏实现单步/少步生成，据称在H100上每张1024px图像仅需0.1秒。 - SANA-Video和LongSANA：使用块因果线性注意力进行视频生成，支持文本到视频和文本图像到视频。 - SANA-Video 2.0：5B和14B架构，采用混合线性/softmax注意力和注意力残差；已发布5B 720p检查点和4步DMD预览版。 - SANA-WM：2.6B可控世界模型，支持720p、分钟级视频和6自由度相机控制。 - SANA-Streaming：2B实时流式视频到视频编辑模型，支持720p、分钟级视频。 - Sol-RL：使用NVFP4 rollout和BF16训练的强化学习后训练方案，提供SANA、FLUX.1和SD3.5-L的配方。 仓库中描述的关键技术包括：DiT骨干中的线性注意力、DC-AE 32倍图像压缩以减少潜在token、仅解码器文本编码器、用于长视频的块因果线性注意力与因果Mix-FFN、Flow-DPM-Solver采样、sCM蒸馏以及低精度RL rollout。项目称4比特量化可在显存低于8GB的GPU上部署。 生态集成：模型可通过Hugging Face、diffusers管道、ComfyUI节点、带OpenAI兼容API的SGLang服务、Cosmos-RL后训练和Replicate API获取。为SANA、4比特、ControlNet、SANA-Sprint、SANA-Video 2.0、SANA-WM和SANA-Streaming提供了演示。 快速开始：克隆仓库并运行提供的环境设置脚本，然后使用文档中的推理和训练配置。README包含使用SANA-Video 2.0 5B检查点生成720p视频的完整示例命令。代码库采用Apache 2.0许可证。