প্রকল্প সম্পর্কে

LivePortrait হলো "LivePortrait: Efficient Portrait Animation with Stitching and Retargeting Control" (arXiv 2407.03168) গবেষণাপত্রের অফিসিয়াল PyTorch বাস্তবায়ন, যা Kuaishou Technology, USTC এবং Fudan University-এর গবেষকরা তৈরি করেছেন। এই প্রকল্পটি একটি ড্রাইভিং ভিডিও বা মোশন টেমপ্লেট থেকে গতি স্থানান্তর করে স্থির পোর্ট্রেট বা পোর্ট্রেট ভিডিও অ্যানিমেট করে। README-তে বর্ণিত মূল ক্ষমতাসমূহ: - মানুষের জন্য পোর্ট্রেট অ্যানিমেশন, পাশাপাশি বিড়াল ও কুকুরের জন্য একটি Animals মোড (Animals মোডে X-Pose প্রয়োজন এবং এটি শুধুমাত্র Linux/Windows-এ NVIDIA GPU সহ পরীক্ষিত)। - ইমেজ চালিত মোড এবং ভিডিও চালিত মোড (পোর্ট্রেট ভিডিও এডিটিং, v2v)। - Gradio ইন্টারফেসে স্টিচিং ও রিটার্গেটিং নিয়ন্ত্রণ, আঞ্চলিক নিয়ন্ত্রণ এবং নির্ভুল পোর্ট্রেট এডিটিং। - মোশন টেমপ্লেট ফাইল (.pkl) যা ইনফারেন্স দ্রুত করতে পারে এবং ড্রাইভিং ভিডিও বিতরণ এড়িয়ে গোপনীয়তা রক্ষায় সহায়তা করে। - ড্রাইভিং ভিডিও অটো-ক্রপিং, সামঞ্জস্যযোগ্য স্কেল ও অফসেট বিকল্পসহ। - অডিও এবং ভিডিও কনক্যাটেনেশন সমর্থন। - মানুষের জন্য একটি Gradio ওয়েব ইন্টারফেস এবং প্রাণীদের জন্য আলাদা একটি, যেখানে সার্ভার পোর্ট, শেয়ারিং এবং torch.compile ত্বরণ (Windows/macOS-এ সমর্থিত নয়) এর মতো বিকল্প রয়েছে। - প্রতি-মডিউল ইনফারেন্স কর্মক্ষমতা পরিমাপের জন্য একটি গতি মূল্যায়ন স্ক্রিপ্ট। ইনস্টলেশন এবং ব্যবহার: - git, conda এবং FFmpeg প্রয়োজন; Python 3.10 সহ একটি conda পরিবেশ তৈরি করা হয়, তারপর requirements.txt (অথবা Apple Silicon-এর জন্য requirements_macOS.txt) থেকে নির্ভরতাগুলি ইনস্টল করা হয়। - প্রিট্রেইন্ড ওয়েট HuggingFace (hf-mirror বিকল্পসহ) অথবা Google Drive/Baidu Yun থেকে ডাউনলোড করা হয় এবং ./pretrained_weights-এ রাখা হয়। - মানুষের জন্য inference.py এবং প্রাণীদের জন্য inference_animals.py এর মাধ্যমে ইনফারেন্স চালানো হয়; সোর্স এবং ড্রাইভিং ইনপুট -s এবং -d দিয়ে নির্দিষ্ট করা হয়। - Apple Silicon সহ macOS Humans মোডের জন্য সমর্থিত, যা RTX 4090-এর তুলনায় অনেক ধীর হতে পারে বলে উল্লেখ করা হয়েছে। README-তে অসংখ্য কমিউনিটি-উন্নত প্রকল্প এবং ইন্টিগ্রেশনও তালিকাভুক্ত রয়েছে, যার মধ্যে ComfyUI নোড, Stable Diffusion WebUI এক্সটেনশন, FaceFusion, TensorRT-ভিত্তিক দ্রুততর সংস্করণ এবং বিভিন্ন HuggingFace Spaces ও প্লেগ্রাউন্ড অন্তর্ভুক্ত। এটি FOMM, Open Facevid2vid, SPADE, InsightFace এবং X-Pose-এর মতো পূর্ববর্তী কাজগুলিকে স্বীকৃতি দেয় এবং ডিপফেক ঝুঁকি ও দায়িত্বশীল ব্যবহার সম্পর্কে একটি নীতিশাস্ত্র নোট অন্তর্ভুক্ত করে।