このプロジェクトについて

ComfyUI-H3-FaceRefineは、MiniMax H3ビデオの後処理用のComfyUIカスタムノードセットです。これは、頭部がソースフレームのごく一部しか占めていないためにH3が顔をうまくレンダリングできないケースに対処します。パイプラインは顔を検出して追跡し、クロップをより大きなキャンバスに正規化し、そのクロップをH3に通し、記録されたクロップ変換を使用して生成された顔を元のビデオに縫い戻します。そのアプローチはImpact PackのFaceDetailerをモデルにしていますが、フレーム間のビデオ処理用に拡張されています。 主なコンポーネントは以下の通りです： - H3 Load Video + Face Select：ビデオとオーディオを読み込み、顔を検出し、オプションでハードカットを検出し、グラフ実行前に被写体を選択します。手動のPick facesインターフェース、ランキングルール、またはアイデンティティ参照画像を使用できます。 - H3 Face Track + Crop：選択された被写体を各ショット全体で追跡し、クロップと変換データを生成し、キャンバスサイズとフレーム数を出力し、スムージング、補間、欠落顔、ショット境界を処理します。 - H3 Per-Frame Denoise：モデルパスパッチとしてフレームごとのノイズ除去制御を適用し、MODEL入力を受け取り返します。 - H3 Face Stitch Back：洗練されたH3出力をソースフレームに合成し、元のオーディオパスを保持します。 被写体選択は、最大、最小、左端、右端、最上部、最下部、中央、X/Y座標に最も近い、検出器スコアなどの自動ランキングモードをサポートします。アイデンティティベースの選択は、写真の顔にはInsightFaceを使用でき、イラストやアニメ素材にはCLIP VisionまたはCCIPが推奨されます。ユーザー提供の顔検出器（例：face_yolov8m.pt）が必要です。非写真コンテンツにはアニメ顔検出器が推奨されます。 このパックは、オプションのハードカット検出にPySceneDetectを使用します。利用可能な場合、カットはビデオをショットに分割し、被写体をショットごとに個別に選択でき、カットをまたいだ追跡のスムージングは行われません。PySceneDetectが利用できない場合、ビデオは1つのショットとして扱われます。追跡レポートはフレームロスト範囲を特定し、ロストフレームはプレビューで強調表示できます。被写体が消えた場合、トラッカーは他の人にジャンプするのを避け、合成をフェードアウトしながらクロップを補間して元のピクセルを保持できます。 2つの注釈付きワークフローテンプレートが含まれています：ランキングルールが顔を選択するAuto Selectと、ユーザーがショットごとに1つの顔を選択するManual Selectです。テンプレートはComfyUIのテンプレートブラウザから利用可能で、example_workflowsディレクトリからも読み込めます。これらは、トラッキングノードのフレーム数とキャンバスサイズを使用して、H3生成をソースクリップと一致させます。 インストールは、リポジトリをComfyUI/custom_nodesにクローンし、ComfyUIを再起動することで実行されます。ノードはMiniMax H3/Face Refineメニューの下に表示されます。ultralytics、scipy、insightface、scenedetectなどのPythonパッケージは、プロジェクトのrequirementsからインストールできます。コアのMiniMax H3ノードを含む最近のComfyUIビルドと、H3モデル、テキストエンコーダー、VAEが必要です（既にインストールされている場合は不要）。 例のワークフローはさらに、保存用のVideoHelperSuite、オーディオ/リップシンク処理用のComfyUI-H3-NativeAudioLock、モデルフォルダ登録用のImpact Packを使用します。SAMおよびGGUFコンポーネントは存在しますが、デフォルトでミュートされています。SAMモデル、GGUFローダーサポート、CLIP Vision、InsightFaceモデル、turbo LoRAは、ワークフロー設定に応じてオプションです。 絶対パスを貼り付けて読み込まれたビデオの場合、パックはComfyUIの入力ディレクトリ外でローカルプレビューを提供します。H3_FACEREFINE_STRICT_PATHSを空でない値に設定すると、これらのルートをComfyUI自身のフォルダ内のファイルに制限します。これは、ComfyUIがlocalhostの外部に公開されている場合に便利です。