منصوبے کے بارے میں

LivePortrait پیپر "LivePortrait: Efficient Portrait Animation with Stitching and Retargeting Control" (arXiv 2407.03168) کی سرکاری PyTorch امپلیمنٹیشن ہے، جو Kuaishou Technology، USTC اور Fudan University کے محققین نے تیار کی ہے۔ یہ پروجیکٹ ڈرائیونگ ویڈیو یا موشن ٹیمپلیٹ سے موشن منتقل کر کے ساکن پورٹریٹس یا پورٹریٹ ویڈیوز کو متحرک بناتا ہے۔ README میں بیان کردہ اہم صلاحیتیں: - انسانوں کے لیے پورٹریٹ اینیمیشن، نیز بلیوں اور کتوں کے لیے Animals موڈ (Animals موڈ کو X-Pose کی ضرورت ہے اور یہ صرف NVIDIA GPU کے ساتھ Linux/Windows پر ٹیسٹ کیا گیا ہے)۔ - امیج ڈریون موڈ اور ویڈیو ڈریون موڈ (پورٹریٹ ویڈیو ایڈیٹنگ، v2v)۔ - سٹچنگ اور ریٹارگیٹنگ کنٹرول، ریجنل کنٹرول، اور Gradio انٹرفیس میں درست پورٹریٹ ایڈیٹنگ۔ - موشن ٹیمپلیٹ فائلیں (.pkl) جو انفرنس کو تیز کر سکتی ہیں اور ڈرائیونگ ویڈیوز کی تقسیم سے بچ کر پرائیویسی کے تحفظ میں مدد دیتی ہیں۔ - ایڈجسٹ ایبل اسکیل اور آفسیٹ آپشنز کے ساتھ ڈرائیونگ ویڈیو آٹو کراپنگ۔ - آڈیو اور ویڈیو کنکیٹینیشن سپورٹ۔ - انسانوں کے لیے Gradio ویب انٹرفیس اور جانوروں کے لیے الگ انٹرفیس، جس میں سرور پورٹ، شیئرنگ اور torch.compile ایکسلریشن (Windows/macOS پر سپورٹڈ نہیں) جیسے آپشنز شامل ہیں۔ - فی ماڈیول انفرنس پرفارمنس ماپنے کے لیے ایک اسپیڈ ایویلیوایشن اسکرپٹ۔ انسٹالیشن اور استعمال: - git، conda اور FFmpeg کی ضرورت ہے؛ Python 3.10 کے ساتھ conda ماحول بنایا جاتا ہے، پھر requirements.txt سے ڈپینڈنسیز انسٹال کی جاتی ہیں (Apple Silicon کے لیے requirements_macOS.txt)۔ - پری ٹرینڈ ویٹس HuggingFace سے (hf-mirror متبادل کے ساتھ) یا Google Drive/Baidu Yun سے ڈاؤن لوڈ کیے جاتے ہیں اور ./pretrained_weights میں رکھے جاتے ہیں۔ - انفرنس انسانوں کے لیے inference.py اور جانوروں کے لیے inference_animals.py کے ذریعے چلایا جاتا ہے؛ سورس اور ڈرائیونگ ان پٹس -s اور -d کے ساتھ بیان کیے جاتے ہیں۔ - Apple Silicon کے ساتھ macOS Humans موڈ کے لیے سپورٹڈ ہے، جسے RTX 4090 کے مقابلے میں کافی سلو ہونے کا امکان بتایا گیا ہے۔ README میں کئی کمیونٹی ڈیولپڈ پروجیکٹس اور انٹیگریشنز بھی درج ہیں، جن میں ComfyUI نوڈز، Stable Diffusion WebUI ایکسٹینشنز، FaceFusion، TensorRT پر مبنی تیز ورژنز، اور مختلف HuggingFace Spaces اور پلے گراؤنڈز شامل ہیں۔ یہ FOMM، Open Facevid2vid، SPADE، InsightFace اور X-Pose جیسے سابقہ کاموں کا اعتراف کرتا ہے اور ڈیپ فیک کے خطرات اور ذمہ دارانہ استعمال کے بارے میں ایک اخلاقی نوٹ شامل کرتا ہے۔