sana

SANA é uma base de código open-source orientada à eficiência, do NVIDIA Labs, para geração de imagens e vídeos em alta resolução. Ela reúne pipelines completos de treino e inferência para uma família de modelos de transformer de difusão, incluindo SANA, SANA-1.5, SANA-Sprint, SANA-Video, SANA-Video 2.0, SANA-WM, SANA-Streaming e Sol-RL. O que ela oferece: - Geração texto-para-imagem de até 4K de resolução, com variantes de modelo nas escalas 600M e 1.6B e checkpoints ajustados multilíngues (inglês, chinês, emoji). - SANA-1.5: escalonamento de computação em tempo de treino e de inferência para melhorar a qualidade. - SANA-Sprint: geração em um/poucos passos via destilação sCM, relatada em 0,1s por imagem de 1024px em H100. - SANA-Video e LongSANA: geração de vídeo usando Block Causal Linear Attention, com suporte a texto-para-vídeo e texto-imagem-para-vídeo. - SANA-Video 2.0: arquiteturas de 5B e 14B com atenção híbrida linear/softmax e Attention Residuals; um checkpoint 5B 720p e uma prévia DMD de 4 passos foram publicados. - SANA-WM: um modelo de mundo controlável de 2.6B para vídeo de 720p em escala de minutos com controle de câmera 6-DoF. - SANA-Streaming: um modelo de edição vídeo-para-vídeo em streaming em tempo real de 2B para vídeo de 720p em escala de minutos. - Sol-RL: receitas de pós-treino com aprendizado por reforço usando rollout NVFP4 e treino BF16, com receitas para SANA, FLUX.1 e SD3.5-L. As principais técnicas descritas no repositório incluem atenção linear no backbone DiT, compressão de imagem DC-AE 32x para reduzir tokens latentes, um codificador de texto somente decodificador, Block Causal Linear Attention com Causal Mix-FFN para vídeos longos, amostragem Flow-DPM-Solver, destilação sCM e rollout de RL em baixa precisão. O projeto afirma que a quantização em 4 bits permite implantação em GPUs com menos de 8GB de VRAM. Integração com o ecossistema: os modelos estão disponíveis por meio do Hugging Face, pipelines diffusers, nós ComfyUI, serviço SGLang com uma API compatível com OpenAI, pós-treino Cosmos-RL e API Replicate. Há demos hospedadas para SANA, 4-bit, ControlNet, SANA-Sprint, SANA-Video 2.0, SANA-WM e SANA-Streaming. Primeiros passos: clone o repositório e execute o script de configuração de ambiente fornecido, depois use as configurações documentadas de inferência e treino. O README inclui um comando de exemplo completo para gerar um vídeo 720p com o checkpoint SANA-Video 2.0 5B. A base de código está licenciada sob Apache 2.0.