Sobre o projeto

ComfyUI-SeedVR2_VideoUpscaler é o empacotamento oficial do ComfyUI para o modelo SeedVR2 da ByteDance, voltado para upscaling difusivo de vídeos e imagens. Ele visa preservar a coerência temporal entre quadros enquanto melhora os detalhes, e suporta conteúdo RGB e RGBA, incluindo imagens transparentes. No ComfyUI, o projeto utiliza uma configuração modular de nós, com nós separados para o modelo DiT, modelo VAE, configurações de torch.compile e o upscaler principal. Ele segue o design de nós sem estado do ComfyUI V3 e pode compartilhar modelos carregados entre várias instâncias do upscaler por meio de um cache global. Os modelos podem ser baixados automaticamente do Hugging Face no primeiro uso. As variantes de modelo suportadas incluem modelos de 3B e 7B parâmetros nos formatos FP16, FP8 e GGUF, com quantização GGUF de 4 e 8 bits destinada a sistemas com menor VRAM. Os usuários podem controlar o processamento em lote, sobreposição temporal, quadros preparados, resolução máxima e semente determinística. O upscaler suporta saídas em resoluções divisíveis por 2 e usa preenchimento em vez de corte restritivo. Os recursos de memória e execução incluem troca de blocos do transformer (BlockSwap), codificação e decodificação VAE em tiles, descarregamento de modelos e tensores, cache de modelos, decodificação VAE em streaming e processamento em chunks para vídeos longos. Os backends de atenção incluem PyTorch SDPA, Flash Attention 2/3, SageAttention 2/3 e atenção cuDNN, com comportamento de fallback quando um backend opcional está indisponível. A integração com torch.compile é opcional. O repositório também pode ser usado independentemente do ComfyUI como uma CLI autônoma. A CLI suporta imagens únicas, vídeos individuais e processamento em lote de diretórios, com detecção automática de saída MP4/PNG, distribuição de carga de trabalho multi-GPU, mesclagem de sobreposição temporal, cache de modelos e chunks em streaming com limite de memória. Um backend de vídeo FFmpeg fornece saída x265 de 10 bits como alternativa à saída OpenCV de 8 bits. O trabalho de compatibilidade de plataforma abrange NVIDIA CUDA, AMD ROCm e Apple Silicon MPS, incluindo tratamento de fallback de bfloat16 para GPUs mais antigas. Os recursos de processamento de cores incluem transferência de cor LAB, correspondência de saturação HSV, processamento baseado em wavelet e abordagens híbridas. O projeto é lançado sob a licença Apache 2.0.