sana

SANA est une base de code open source orientée efficacité de NVIDIA Labs pour la génération d'images et de vidéos haute résolution. Elle regroupe des pipelines complets d'entraînement et d'inférence pour une famille de modèles de diffusion transformer, incluant SANA, SANA-1.5, SANA-Sprint, SANA-Video, SANA-Video 2.0, SANA-WM, SANA-Streaming et Sol-RL. Ce qu'elle fournit : - Génération texte-image jusqu'à une résolution 4K, avec des variantes de modèles à l'échelle 600M et 1.6B et des checkpoints affinés multilingues (anglais, chinois, emoji). - SANA-1.5 : mise à l'échelle du calcul à l'entraînement et à l'inférence pour une meilleure qualité. - SANA-Sprint : génération en un/quelques pas via distillation sCM, annoncée à 0,1 s par image 1024px sur H100. - SANA-Video et LongSANA : génération vidéo utilisant Block Causal Linear Attention, avec prise en charge texte-vers-vidéo et texte-image-vers-vidéo. - SANA-Video 2.0 : architectures 5B et 14B avec attention hybride linéaire/softmax et Attention Residuals ; un checkpoint 5B 720p et un aperçu DMD en 4 pas sont publiés. - SANA-WM : un modèle du monde contrôlable de 2,6B pour vidéo 720p à l'échelle de la minute avec contrôle de caméra 6-DoF. - SANA-Streaming : un modèle d'édition vidéo-vers-vidéo en streaming temps réel de 2B pour vidéo 720p à l'échelle de la minute. - Sol-RL : recettes de post-entraînement par apprentissage par renforcement utilisant un rollout NVFP4 et un entraînement BF16, avec des recettes pour SANA, FLUX.1 et SD3.5-L. Les techniques clés décrites dans le dépôt incluent l'attention linéaire dans le backbone DiT, la compression d'image DC-AE 32x pour réduire les tokens latents, un encodeur de texte decoder-only, Block Causal Linear Attention avec Causal Mix-FFN pour la vidéo longue, l'échantillonnage Flow-DPM-Solver, la distillation sCM et le rollout RL en basse précision. Le projet indique que la quantification 4 bits permet le déploiement sur des GPU avec moins de 8 Go de VRAM. Intégration à l'écosystème : les modèles sont disponibles via Hugging Face, les pipelines diffusers, les nœuds ComfyUI, le serving SGLang avec une API compatible OpenAI, le post-entraînement Cosmos-RL et l'API Replicate. Des démos sont hébergées pour SANA, 4-bit, ControlNet, SANA-Sprint, SANA-Video 2.0, SANA-WM et SANA-Streaming. Pour commencer : clonez le dépôt et exécutez le script de configuration d'environnement fourni, puis utilisez les configurations d'inférence et d'entraînement documentées. Le README inclut une commande d'exemple complète pour générer une vidéo 720p avec le checkpoint SANA-Video 2.0 5B. La base de code est sous licence Apache 2.0.