wan2.2

Wan2.2 é um conjunto de modelos de geração de vídeo de código aberto desenvolvido pela Wan-AI. Ele introduz uma arquitetura de Mixture-of-Experts (MoE) em modelos de difusão de vídeo, separando o processo de remoção de ruído ao longo dos passos temporais com modelos especialistas para aumentar a capacidade mantendo o custo computacional. O conjunto suporta várias tarefas de geração: - Text-to-Video (T2V-A14B): Gera vídeo a partir de prompts de texto em resoluções 480P e 720P. - Image-to-Video (I2V-A14B): Gera vídeo a partir de uma imagem de referência e um prompt de texto. - Text-Image-to-Video (TI2V-5B): Um modelo de 5B de parâmetros que usa o Wan2.2-VAE com taxa de compressão 16x16x4, suportando 720P a 24fps. Este modelo pode rodar em GPUs de consumidor com pelo menos 24GB de VRAM (por exemplo, RTX 4090). - Speech-to-Video (S2V-14B): Um modelo de geração de vídeo cinematográfico dirigido por áudio que aceita entrada de áudio, uma imagem de referência e prompt de texto opcional. Suporta geração guiada por pose via um parâmetro de vídeo de pose. Pode integrar o CosyVoice para síntese de texto em fala. - Character Animation and Replacement (Animate-14B): Recebe um vídeo e uma imagem de personagem como entrada, gerando vídeos no modo de animação (personagem imita o movimento do vídeo de entrada) ou modo de substituição (substitui o personagem no vídeo de entrada). O repositório fornece scripts de inferência para GPU única e multi-GPU usando PyTorch FSDP e DeepSpeed Ulysses para aceleração. A extensão de prompt é suportada via API Dashscope ou modelos locais Qwen para enriquecer os detalhes do vídeo gerado. Os pesos dos modelos estão disponíveis no Hugging Face e ModelScope. Wan2.2 foi integrado ao ComfyUI e ao Hugging Face Diffusers. A comunidade construiu projetos relacionados incluindo LightX2V (framework de inferência leve), FastVideo (modelos destilados com atenção esparsa), Cache-dit (aceleração por cache), DiffSynth-Studio (offload para baixa VRAM, quantização FP8, treinamento LoRA) e Kijai's ComfyUI WanVideoWrapper.