sana

SANA — это ориентированная на эффективность открытая кодовая база от NVIDIA Labs для генерации изображений и видео высокого разрешения. Она объединяет полные конвейеры обучения и инференса для семейства диффузионных трансформерных моделей, включая SANA, SANA-1.5, SANA-Sprint, SANA-Video, SANA-Video 2.0, SANA-WM, SANA-Streaming и Sol-RL. Что она предоставляет: - Генерацию изображений по тексту вплоть до разрешения 4K, с вариантами моделей масштаба 600M и 1.6B и многоязычными (английский, китайский, эмодзи) дообученными чекпоинтами. - SANA-1.5: масштабирование вычислений во время обучения и инференса для повышения качества. - SANA-Sprint: генерация за один/несколько шагов посредством дистилляции sCM, заявлено 0,1 с на изображение 1024px на H100. - SANA-Video и LongSANA: генерация видео с использованием Block Causal Linear Attention, с поддержкой text-to-video и text-image-to-video. - SANA-Video 2.0: архитектуры 5B и 14B с гибридным линейным/softmax вниманием и Attention Residuals; опубликованы чекпоинт 5B 720p и 4-шаговый предпросмотр DMD. - SANA-WM: управляемая модель мира на 2.6B для видео 720p длительностью в минуты с управлением камерой по 6 степеням свободы. - SANA-Streaming: модель редактирования видео-в-виде в реальном времени на 2B для видео 720p длительностью в минуты. - Sol-RL: рецепты пост-обучения с обучением с подкреплением, использующие rollout на NVFP4 и обучение в BF16, с рецептами для SANA, FLUX.1 и SD3.5-L. Ключевые методы, описанные в репозитории, включают линейное внимание в основе DiT, 32-кратное сжатие изображений DC-AE для уменьшения числа латентных токенов, декодер-only текстовый энкодер, Block Causal Linear Attention с Causal Mix-FFN для длинного видео, сэмплирование Flow-DPM-Solver, дистилляцию sCM и rollout RL с низкой точностью. Проект утверждает, что 4-битное квантование позволяет развёртывание на GPU с менее чем 8GB VRAM. Интеграция с экосистемой: модели доступны через Hugging Face, конвейеры diffusers, узлы ComfyUI, обслуживание SGLang с API, совместимым с OpenAI, пост-обучение Cosmos-RL и API Replicate. Демо размещены для SANA, 4-bit, ControlNet, SANA-Sprint, SANA-Video 2.0, SANA-WM и SANA-Streaming. Начало работы: клонируйте репозиторий и запустите предоставленный скрипт настройки окружения, затем используйте документированные конфигурации инференса и обучения. README содержит полный пример команды для генерации видео 720p с чекпоинтом SANA-Video 2.0 5B. Кодовая база лицензирована под Apache 2.0.