প্রকল্প সম্পর্কে

ComfyUI-H3-FaceRefine হল MiniMax H3 ভিডিও পোস্ট-প্রসেসিংয়ের জন্য ComfyUI কাস্টম নোডের একটি সেট। এটি এমন পরিস্থিতি সমাধান করে যেখানে H3 মুখগুলো খারাপ রেন্ডার করে কারণ মাথা সোর্স ফ্রেমের কেবল একটি ছোট অংশ দখল করে। পাইপলাইনটি একটি মুখ সনাক্ত ও ট্র্যাক করে, ক্রপটিকে একটি বড় ক্যানভাসে নরমালাইজ করে, সেই ক্রপটি H3-এর মাধ্যমে পাঠায় এবং রেকর্ড করা ক্রপ ট্রান্সফর্ম ব্যবহার করে তৈরি মুখটিকে মূল ভিডিওতে সংযুক্ত করে। এর পদ্ধতিটি Impact Pack-এর FaceDetailer-এর উপর ভিত্তি করে তৈরি কিন্তু ফ্রেম-টু-ফ্রেম ভিডিও কাজের জন্য সম্প্রসারিত। প্রধান উপাদানগুলোর মধ্যে রয়েছে: - H3 Load Video + Face Select: ভিডিও ও অডিও লোড করে, মুখ সনাক্ত করে, ঐচ্ছিকভাবে হার্ড কাট সনাক্ত করে এবং গ্রাফ চলার আগে একটি সাবজেক্ট নির্বাচন করে। এটি ম্যানুয়াল Pick faces ইন্টারফেস, র‍্যাঙ্কিং নিয়ম বা একটি আইডেন্টিটি রেফারেন্স ইমেজ ব্যবহার করতে পারে। - H3 Face Track + Crop: প্রতিটি শটে নির্বাচিত সাবজেক্ট ট্র্যাক করে, ক্রপ ও ট্রান্সফর্ম ডেটা তৈরি করে, ক্যানভাস ডাইমেনশন ও ফ্রেম কাউন্ট আউটপুট দেয় এবং স্মুথিং, ইন্টারপোলেশন, অনুপস্থিত মুখ ও শট বাউন্ডারি পরিচালনা করে। - H3 Per-Frame Denoise: মডেল-পাথ প্যাচ হিসেবে প্রতি-ফ্রেম ডিনয়েজিং কন্ট্রোল প্রয়োগ করে, একটি MODEL ইনপুট গ্রহণ ও ফেরত দেয়। - H3 Face Stitch Back: উন্নত H3 আউটপুটকে সোর্স ফ্রেমে যুক্ত করে এবং মূল অডিও পাথ সংরক্ষণ করে। সাবজেক্ট নির্বাচনে স্বয়ংক্রিয় র‍্যাঙ্কিং মোড সমর্থিত, যেমন বৃহত্তম, ক্ষুদ্রতম, সর্বাধিক বাম, সর্বাধিক ডান, সর্বোচ্চ, সর্বনিম্ন, কেন্দ্রের নিকটতম, X/Y কোঅর্ডিনেটের নিকটতম এবং ডিটেক্টর স্কোর। আইডেন্টিটি-ভিত্তিক নির্বাচনে ফটোগ্রাফিক মুখের জন্য InsightFace ব্যবহার করা যায়, অন্যদিকে ইলাস্ট্রেটেড বা অ্যানিমে উপাদানের জন্য CLIP Vision বা CCIP সুপারিশ করা হয়। ব্যবহারকারী-সরবরাহিত একটি ফেস ডিটেক্টর প্রয়োজন, যেমন face_yolov8m.pt; নন-ফটোগ্রাফিক কন্টেন্টের জন্য একটি অ্যানিমে ফেস ডিটেক্টর সুপারিশ করা হয়। প্যাকটি ঐচ্ছিক হার্ড-কাট ডিটেকশনের জন্য PySceneDetect ব্যবহার করে। যখন উপলব্ধ থাকে, কাটগুলো ভিডিওকে শটে বিভক্ত করে যাতে প্রতিটি শটে আলাদাভাবে সাবজেক্ট নির্বাচন করা যায় এবং কাট জুড়ে ট্র্যাকিং স্মুথ করা হয় না। PySceneDetect অনুপস্থিত থাকলে ভিডিওটিকে একটি শট হিসেবে বিবেচনা করা হয়। ট্র্যাকিং রিপোর্ট হারানো ফ্রেমের রেঞ্জ চিহ্নিত করে এবং হারানো ফ্রেমগুলো প্রিভিউতে হাইলাইট করা যায়। সাবজেক্ট অদৃশ্য হলে ট্র্যাকার অন্য ব্যক্তিতে লাফ দেওয়া এড়ায় এবং মূল পিক্সেল ধরে রাখতে কম্পোজিট ফেড আউট করার সময় ক্রপ ইন্টারপোলেট করতে পারে। দুটি অ্যানোটেটেড ওয়ার্কফ্লো টেমপ্লেট অন্তর্ভুক্ত রয়েছে: Auto Select, যেখানে একটি র‍্যাঙ্কিং নিয়ম মুখ নির্বাচন করে, এবং Manual Select, যেখানে ব্যবহারকারী প্রতিটি শটে একটি মুখ বেছে নেয়। টেমপ্লেটগুলো ComfyUI-এর টেমপ্লেট ব্রাউজারের মাধ্যমে উপলব্ধ এবং example_workflows ডিরেক্টরি থেকেও লোড করা যায়। এগুলো ট্র্যাকিং নোডের ফ্রেম কাউন্ট ও ক্যানভাস ডাইমেনশন ব্যবহার করে H3 জেনারেশনকে সোর্স ক্লিপের সাথে সারিবদ্ধ রাখে। ইনস্টলেশন ComfyUI/custom_nodes-এ রিপোজিটরি ক্লোন করে এবং ComfyUI পুনরায় চালু করে সম্পন্ন হয়। নোডগুলো MiniMax H3/Face Refine মেনুর অধীনে উপস্থিত হয়। ultralytics, scipy, insightface এবং scenedetect সহ Python প্যাকেজগুলো প্রজেক্ট রিকোয়ারমেন্ট থেকে ইনস্টল করা যায়। কোর MiniMax H3 নোড সহ একটি সাম্প্রতিক ComfyUI বিল্ড প্রয়োজন, পাশাপাশি H3 মডেল, টেক্সট এনকোডার এবং VAE প্রয়োজন যদি না সেগুলো ইতিমধ্যে ইনস্টল করা থাকে। উদাহরণ ওয়ার্কফ্লোগুলো সংরক্ষণের জন্য অতিরিক্তভাবে VideoHelperSuite, অডিও/লিপসিঙ্ক হ্যান্ডলিংয়ের জন্য ComfyUI-H3-NativeAudioLock এবং মডেল-ফোল্ডার রেজিস্ট্রেশনের জন্য Impact Pack ব্যবহার করে। SAM এবং GGUF উপাদান উপস্থিত কিন্তু ডিফল্টভাবে মিউট করা; SAM মডেল, GGUF লোডার সাপোর্ট, CLIP Vision, InsightFace মডেল এবং turbo LoRA ওয়ার্কফ্লো কনফিগারেশনের উপর নির্ভর করে ঐচ্ছিক। অ্যাবসোলিউট পাথ পেস্ট করে লোড করা ভিডিওর জন্য, প্যাকটি ComfyUI-এর ইনপুট ডিরেক্টরির বাইরে স্থানীয় প্রিভিউ পরিবেশন করে। H3_FACEREFINE_STRICT_PATHS-কে একটি নন-এম্পটি মানে সেট করলে সেই রুটগুলোকে ComfyUI-এর নিজস্ব ফোল্ডারের ভেতরের ফাইলে সীমাবদ্ধ করে, যা তখন কার্যকর যখন ComfyUI localhost-এর বাইরে উন্মুক্ত থাকে।