cogvideo

CogVideoXは清穎Originatedのオープンソース動画生成モデルです。リポジトリにはCogVideoX-2B、CogVideoX-5B、CogVideoX-5B-I2V、および最新のコGVideoX1.5-5Bシリーズを含む複数のモデルが含まれています。これらのモデルはテキストから動画生成、画像から動画生成、動画継続の3つのコアタスクをサポートしています。 CogVideoX1.5-5Bモデルは最大解像度1360x768の10秒動画をサポートし、以前のモデルは720x480解像度の6秒動画を生成します。I2V（画像から動画）バリアントは最小次元768ピクセルの可変解像度をサポートします。モデルは224〜226トークンの制限で英語プロンプトを受け入れます。 推論はDiffusersとSAT（SwissArmyTransformer）の2つのフレームワークを通じてサポートされています。Diffusersバージョンは順次CPUオフロード、VAEスライシング、VAEタイリングなどのメモリ最適化をサポートし、コンシューマーGPUでの推論を可能にします。CogVideoX-2BはGTX 1080 Tiで実行でき、CogVideoX-5BはRTX 3060クラスのGPUで動作します。TorchAOによる量子化推論はINT8精度をサポートし、メモリ要件をさらに削減します。リポジトリには無料T4インスタンスでのT2V、I2V、V2Vタスク用のColabノートブックも含まれています。 ファインチューニングはGPUメモリの削減された要求でLoRAトレーニングを通じてサポートされ、CogKitツールキットはCogView4およびCogVideoXシリーズ全体を通じたファインチューニングと推論の統一フレームワークを提供します。コミュニティ開発のファインチューニングフレームワーク（cogvideox-factory）は単一の4090 GPUでCogVideoX-5Bのファインチューニングを可能にします。 リポジトリにはDDIM反転サポート、LLMを使用したプロンプト最適化ガイド、およびトレーニング中に動画データをテキスト説明に変換するために使用されるCogVLM2-Captionモデルも含まれています。元のコGVideoモデル（ICLR 2023）は最初のオープンソースTransformerベーステキストから動画生成モデルとして別ブランチで利用可能です。CogVideoX-2BはApache 2.0ライセンスの下でリリースされています。