open-sora

Open-Soraは、手頃なモデル、ツール、実装詳細を提供することで、効率的な動画制作の民主化を目指したオープンソースプロジェクトである。このプロジェクトは、データ前処理からColossalAIを活用した訓練加速、そして推論に至るまで、動画生成のフルパイプラインを提供している。 最新リリースのOpen-Sora 2.0は11Bパラメータモデルを採用している。プロジェクトの技術報告書によれば、このモデルは約20万ドルの予算で訓練され、VBenchベンチマークおよび人間の選好評価において、HunyuanVideo（11B）やStep-Video（30B）などの他のオープンソースモデルと同等の性能を達成している。また、プロジェクトは1.0から1.3までの過去バージョンも独立したブランチで管理しており、3D-VAE、rectified flow、さまざまな空間時間アーキテクチャなど、能力の反復的な進歩を文書化している。 主な機能と特徴は以下の通り： - テキストから画像、テキストから動画、画像から動画、動画から動画の生成 - 2秒から16秒、あるいは無限の長さまで対応する可変動画長と、144pから720pまでの解像度、柔軟なアスペクト比をサポート - ユーザーが独自のモデルを訓練またはファインチューンできるよう、完全にオープンソースのチェックポイントと訓練スクリプトを提供 - 各バージョンのアーキテクチャ、訓練プロセス、評価指標を文書化した詳細な技術報告書 - 対話型テスト用のHugging Face SpacesにホストされたGradioベースのデモ このプロジェクトは、動画自動エンコーダの訓練、評価、モデルのデプロイに関する包括的なドキュメントを提供しており、コンテンツクリエイターや研究者にとって動画生成の複雑さを簡素化することを目指している。