open-sora

Open-Sora是致力于民主化高效视频制作的开源项目，提供易用的模型、工具和实现细节。该项目包含完整的视频生成流程，包括数据预处理、训练加速（利用ColossalAI）和推理。 最新版本Open-Sora 2.0采用11B参数模型。根据技术报告，该模型训练预算约20万美元，在VBench基准测试和人工偏好评估中与HunyuanVideo (11B)和Step-Video (30B)等开源模型性能相当。项目仍在独立分支维护1.0至1.3版本，记录了3D-VAE、rectified flow和各种时空架构等方面的能力迭代。 关键功能包括： - 文本到图像、文本到视频、图像到视频以及视频到视频生成。 - 支持可变视频长度（2秒至16秒或无限时间）和分辨率（144p至720p），提供灵活宽高比。 - 完全开源的检查点和训练脚本，允许用户训练或微调自有模型。 - 详细技术报告记录各版本架构、训练流程和评估指标。 - 在Hugging Face Spaces托管基于Gradio的交互式演示。 项目提供全面的文档，涵盖视频自编码器训练、评估和模型部署，旨在为内容创作者和研究者简化视频生成复杂性。