عن المشروع
ComfyUI-H3-FaceRefine هي مجموعة من عقد ComfyUI المخصصة لمعالجة ما بعد إنتاج فيديو MiniMax H3. تعالج الحالة التي يقدّم فيها H3 الوجوه بجودة ضعيفة لأن الرأس يشغل جزءًا صغيرًا فقط من إطار المصدر. يكتشف خط المعالجة وجهًا ويتتبعه، ويطبّع القصاصة على لوحة أكبر، ويمرر تلك القصاصة عبر H3، ثم يخيط الوجه المُولَّد مرة أخرى في الفيديو الأصلي باستخدام تحويل القصاصة المسجّل. نهجها مصمَّم على غرار FaceDetailer من Impact Pack لكنه ممتد للعمل على الفيديو من إطار إلى إطار.
تتضمن المكونات الرئيسية:
• H3 Load Video + Face Select: يحمّل الفيديو والصوت، ويكتشف الوجوه، ويكتشف القطع الحادة اختياريًا، ويختار هدفًا قبل تشغيل الرسم البياني. يمكنه استخدام واجهة Pick faces يدوية، أو قواعد ترتيب، أو صورة مرجع للهوية.
• H3 Face Track + Crop: يتتبع الهدف المحدد عبر كل لقطة، وينتج قصاصات وبيانات تحويل، ويخرج أبعاد اللوحة وعدد الإطارات، ويتولى التنعيم والاستكمال والوجوه المفقودة وحدود اللقطات.
• H3 Per-Frame Denoise: يطبّق عناصر تحكم إزالة الضوضاء لكل إطار كتصحيح لمسار النموذج، ويأخذ إدخال MODEL ويعيده.
• H3 Face Stitch Back: يدمج إخراج H3 المحسّن مرة أخرى في إطارات المصدر ويحافظ على مسار الصوت الأصلي.
يدعم اختيار الهدف أوضاع ترتيب تلقائية مثل الأكبر، والأصغر، والأقصى يسارًا، والأقصى يمينًا، والأعلى، والأدنى، والأكثر مركزية، والأقرب إلى إحداثيي X/Y، ودرجة الكاشف. يمكن للاختيار المستند إلى الهوية استخدام InsightFace للوجوه الفوتوغرافية، بينما يُقترح CLIP Vision أو CCIP للمواد المرسومة أو الأنمي. يلزم كاشف وجوه يوفّره المستخدم، مثل face_yolov8m.pt؛ ويُنصح بكاشف وجوه أنمي للمحتوى غير الفوتوغرافي.
تستخدم الحزمة PySceneDetect لاكتشاف القطع الحادة اختياريًا. عند توفّره، تقسم القطعُ الفيديو إلى لقطات حتى يمكن اختيار الهدف بشكل منفصل لكل لقطة ولا يُنعَّم التتبع عبر القطع. إذا لم يكن PySceneDetect متاحًا، يُعامَل الفيديو كلقطة واحدة. تُظهر تقارير التتبع نطاقات الإطارات المفقودة، ويمكن إبراز الإطارات المفقودة في المعاينة. عندما يختفي الهدف، يتجنب المتتبع الانتقال إلى شخص آخر ويمكنه استكمال القصاصة مع تلاشي الدمج للاحتفاظ بالبكسلات الأصلية.
يتضمن القالبان لتدفق عمل مشروحَين: Auto Select، حيث تختار قاعدة ترتيب الوجه، وManual Select، حيث يختار المستخدم وجهًا واحدًا لكل لقطة. القوالب متاحة عبر متصفح قوالب ComfyUI ويمكن أيضًا تحميلها من دليل example_workflows. وهي تستخدم عدد إطارات عقدة التتبع وأبعاد اللوحة للحفاظ على محاذاة توليد H3 مع مقطع المصدر.
يُجرى التثبيت باستنساخ المستودع إلى ComfyUI/custom_nodes ثم إعادة تشغيل ComfyUI. تظهر العقد ضمن قائمة MiniMax H3/Face Refine. يمكن تثبيت حزم Python بما في ذلك ultralytics وscipy وinsightface وscenedetect من متطلبات المشروع. يلزم إصدار حديث من ComfyUI يتضمن عقد MiniMax H3 الأساسية، إلى جانب نموذج H3 ومشفّر النص وVAE ما لم تكن مثبتة بالفعل.
تستخدم تدفقات العمل النموذجية أيضًا VideoHelperSuite للحفظ، وComfyUI-H3-NativeAudioLock لمعالجة الصوت ومزامنة الشفاه، وImpact Pack لتسجيل مجلد النماذج. مكونات SAM وGGUF موجودة لكنها صامتة افتراضيًا؛ نماذج SAM، ودعم محمّل GGUF، وCLIP Vision، ونماذج InsightFace، وturbo LoRAs اختيارية وفقًا لإعداد تدفق العمل.
بالنسبة إلى مقاطع الفيديو المحمَّلة بلصق مسار مطلق، توفّر الحزمة معاينات محلية خارج دليل إدخال ComfyUI. ضبط H3_FACEREFINE_STRICT_PATHS على قيمة غير فارغة يقيد هذه المسارات بالملفات الموجودة داخل مجلد ComfyUI نفسه، وهو مفيد عند تعريض ComfyUI خارج نطاق localhost.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.