このプロジェクトについて
ComfyUI-SeedVR2_VideoUpscalerは、ByteDanceのSeedVR2モデルを拡散ベースのビデオおよび画像アップスケーリング用に公式にComfyUIパッケージ化したものです。フレーム間の時間的一貫性を維持しながら詳細を強化することを目的としており、RGBおよびRGBAコンテンツ(透明画像を含む)をサポートしています。
ComfyUIでは、このプロジェクトはモジュラーノードセットアップを使用し、DiTモデル、VAEモデル、torch.compile設定、およびメインのアップスケーラー用に個別のノードを備えています。ComfyUI V3のステートレスノード設計に従い、グローバルキャッシュを介して複数のアップスケーラーインスタンス間でロードされたモデルを共有できます。モデルは初回使用時にHugging Faceから自動的にダウンロードされます。
サポートされているモデルバリアントには、FP16、FP8、およびGGUF形式の3Bおよび7Bパラメータモデルが含まれ、低VRAMシステム向けに4ビットおよび8ビットのGGUF量子化が用意されています。ユーザーはバッチ処理、時間的重複、先頭フレーム、最大解像度、決定論的シードを制御できます。アップスケーラーは2で割り切れる解像度での出力をサポートし、制限的なクロッピングではなくパディングを使用します。
メモリと実行機能には、BlockSwapトランスフォーマーブロックスワッピング、タイル化されたVAEエンコードおよびデコード、モデルとテンソルのオフロード、モデルキャッシング、ストリーミングVAEデコード、および長いビデオ向けのチャンク処理が含まれます。アテンションバックエンドには、PyTorch SDPA、Flash Attention 2/3、SageAttention 2/3、およびcuDNNアテンションが含まれ、オプションのバックエンドが利用できない場合のフォールバック動作があります。torch.compileの統合はオプションです。
リポジトリは、ComfyUIとは独立してスタンドアロンCLIとしても使用できます。CLIは、単一画像、個別のビデオ、およびバッチディレクトリ処理をサポートし、自動MP4/PNG出力検出、マルチGPUワークロード分散、時間的重複ブレンディング、モデルキャッシング、およびメモリ制限付きストリーミングチャンクを備えています。FFmpegビデオバックエンドは、8ビットOpenCV出力の代替として10ビットx265出力を提供します。
プラットフォーム互換性の作業は、NVIDIA CUDA、AMD ROCm、およびApple Silicon MPSをカバーし、古いGPU向けのbfloat16フォールバック処理を含みます。色処理機能には、LAB色変換、HSV彩度マッチング、ウェーブレットベースの処理、およびハイブリッドアプローチが含まれます。このプロジェクトはApache 2.0ライセンスの下でリリースされています。
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.