wan2.2

Wan2.2 — это открытый набор моделей для генерации видео, разработанный компанией Wan-AI. В него внедрена архитектура Mixture-of-Experts (MoE) в диффузионные видеомодели: процесс шумоподавления разделён по временным шагам между специализированными экспертными моделями, что позволяет увеличить ёмкость модели при сохранении вычислительных затрат. Набор поддерживает несколько задач генерации: - Text-to-Video (T2V-A14B): генерация видео по текстовому описанию с разрешением 480P и 720P. - Image-to-Video (I2V-A14B): генерация видео на основе референсного изображения и текстового описания. - Text-Image-to-Video (TI2V-5B): модель с 5 млрд параметров, использующая Wan2.2-VAE со степеном сжатия 16x16x4, поддерживает разрешение 720P при 24 fps. Может работать на потребительских GPU с не менее 24 ГБ VRAM (например, RTX 4090). - Speech-to-Video (S2V-14B): модель для кинематографической генерации видео по аудио, принимающая аудиовход, референсное изображение и опциональный текст. Поддерживает управление позой через параметр видео с позой. Может интегрироваться с CosyVoice для синтеза речи из текста. - Character Animation and Replacement (Animate-14B): принимает на вход видео и изображение персонажа, генерируя видео в режиме анимации (персонаж повторяет движения из входного видео) или замены (замена персонажа в исходном видео). Репозиторий предоставляет скрипты инференса для одного и нескольких GPU с использованием PyTorch FSDP и DeepSpeed Ulysses для ускорения. Расширение промптов поддерживается через Dashscope API или локальные модели Qwen для повышения детализации генерируемого видео. Веса моделей доступны на Hugging Face и ModelScope. Wan2.2 интегрирован в ComfyUI и Hugging Face Diffusers. Сообщество создало связанные проекты, включая LightX2V (легковесный фреймворк инференса), FastVideo (дистиллированные модели с разреженным вниманием), Cache-dit (ускорение через кэширование), DiffSynth-Studio (offload для слабых GPU, квантизация FP8, обучение LoRA) и Kijai's ComfyUI WanVideoWrapper.