liveportrait

LivePortrait 是论文《LivePortrait: Efficient Portrait Animation with Stitching and Retargeting Control》（arXiv 2407.03168）的官方 PyTorch 实现，由快手科技、中国科学技术大学和复旦大学的研究人员开发。该项目通过从驱动视频或运动模板转移运动来动画化静态人像或人像视频。 README 中描述的主要功能： - 支持人类的人像动画，以及猫和狗的动物模式（动物模式需要 X-Pose，且仅在 Linux/Windows 上使用 NVIDIA GPU 测试）。 - 图像驱动模式和视频驱动模式（人像视频编辑，v2v）。 - 在 Gradio 界面中提供拼接与重定向控制、区域控制以及精确的人像编辑。 - 运动模板文件（.pkl）可加速推理，并通过避免分发驱动视频来帮助保护隐私。 - 驱动视频自动裁剪，具有可调的缩放和偏移选项。 - 支持音频和视频拼接。 - 一个用于人类的 Gradio 网页界面和一个单独的用于动物的界面，提供服务器端口、共享和 torch.compile 加速等选项（不支持 Windows/macOS）。 - 一个用于测量各模块推理性能的速度评估脚本。 安装与使用： - 需要 git、conda 和 FFmpeg；创建 Python 3.10 的 conda 环境，然后从 requirements.txt（或适用于 Apple Silicon 的 requirements_macOS.txt）安装依赖。 - 预训练权重从 HuggingFace（也可使用 hf-mirror 镜像）或 Google Drive/百度云下载，并放置在 ./pretrained_weights 中。 - 推理通过 inference.py 运行人类模式，通过 inference_animals.py 运行动物模式；源和驱动输入使用 -s 和 -d 指定。 - 支持 Apple Silicon 上的 macOS 运行人类模式，但注意可能比 RTX 4090 慢得多。 README 还列出了众多社区开发的项目和集成，包括 ComfyUI 节点、Stable Diffusion WebUI 扩展、FaceFusion、基于 TensorRT 的更快版本，以及各种 HuggingFace Spaces 和在线演示。它致谢了先前的工作，如 FOMM、Open Facevid2vid、SPADE、InsightFace 和 X-Pose，并包含关于深度伪造风险和负责任使用的伦理说明。