عن المشروع

LivePortrait هو التنفيذ الرسمي بلغة PyTorch للورقة البحثية "LivePortrait: Efficient Portrait Animation with Stitching and Retargeting Control" (arXiv 2407.03168)، الذي طوره باحثون من شركة Kuaishou Technology، وجامعةUSTC، وجامعة Fudan. يقوم المشروع بتحريك الصور الشخصية الثابتة أو مقاطع الفيديو الشخصية عن طريق نقل الحركة من فيديو محرك أو قالب حركة. القدرات الرئيسية الموصوفة في ملف README: - تحريك الصور الشخصية للبشر، بالإضافة إلى وضع الحيوانات للقطط والكلاب (يتطلب وضع الحيوانات استخدام X-Pose وقد تم اختباره فقط على أنظمة Linux/Windows باستخدام وحدات معالجة رسومات NVIDIA GPU). - وضع التشغيل المدفوع بالصور ووضع التشغيل المدفوع بالفيديو (تحرير الفيديو الشخصي، v2v). - ضوابط الخياطة وإعادة التوجيه، والتحكم الإقليمي، والتحرير الدقيق للصور الشخصية في واجهة Gradio. - ملفات قوالب الحركة (.pkl) التي يمكنها تسريع الاستدلال والمساعدة في حماية الخصوصية من خلال تجنب توزيع مقاطع الفيديو المحركة. - الاقتصاص التلقائي لمقاطع الفيديو المحركة مع خيارات قابلة للتعديل للتباعد والإزاحة. - دعم دمج الصوت والفيديو. - واجهة ويب Gradio للبشر وأخرى منفصلة للحيوانات، مع خيارات مثل منفذ الخادم، والمشاركة، وتسريع torch.compile (غير مدعوم على أنظمة Windows/macOS). - سكربت تقييم السرعة لقياس أداء الاستدلال لكل وحدة. التثبيت والاستخدام: - يتطلب وجود git وconda وFFmpeg؛ يتم إنشاء بيئة conda باستخدام Python 3.10، ثم يتم تثبيت التبعيات من requirements.txt (أو requirements_macOS.txt لأجهزة Apple Silicon). - يتم تنزيل الأوزان المدربة مسبقًا من HuggingFace (مع بديل hf-mirror) أو من Google Drive/Baidu Yun، ووضعها في المجلد ./pretrained_weights. - يتم تشغيل الاستدلال عبر inference.py للبشر وinference_animals.py للحيوانات؛ يتم تحديد مدخلات المصدر والقيادة باستخدام -s و-d. - يتم دعم نظام macOS مع Apple Silicon لوضع البشر، مع الإشارة إلى أنه قد يكون أبطأ بكثير من RTX 4090. يسرد ملف README أيضًا العديد من المشاريع والتكاملات التي طورها المجتمع، بما في ذلك عقد ComfyUI، وملحقات Stable Diffusion WebUI، وFaceFusion، والإصدارات الأسرع المعتمدة على TensorRT، ومختلف مساحات HuggingFace Spaces ومساحات اللعب. ويعترف بأعمال سابقة مثل FOMM، وOpen Facevid2vid، وSPADE، وInsightFace، وX-Pose، ويتضمن ملاحظة أخلاقية حول مخاطر التزييف العميق والاستخدام المسؤول.