عن المشروع

SANA هي قاعدة كود مفتوحة المصدر تركز على الكفاءة من مختبرات NVIDIA لتوليد الصور والفيديو عالي الدقة. وهي تتضمن خطوط أنابيب كاملة للتدريب والاستدلال لعائلة من نماذج محولات الانتشار، بما في ذلك SANA وSANA-1.5 وSANA-Sprint وSANA-Video وSANA-Video 2.0 وSANA-WM وSANA-Streaming وSol-RL. ما الذي توفره: - توليد الصور من النص بدقة تصل إلى 4K، مع متغيرات نموذجية بحجم 600M و1.6B ونقاط تحقق مضبوطة متعددة اللغات (الإنجليزية والصينية والرموز التعبيرية). - SANA-1.5: توسيع الحوسبة أثناء التدريب وأثناء الاستدلال لتحسين الجودة. - SANA-Sprint: توليد بخطوة واحدة/خطوات قليلة عبر تقطير sCM، ويُذكر أنه يستغرق 0.1 ثانية لكل صورة 1024px على H100. - SANA-Video وLongSANA: توليد الفيديو باستخدام Block Causal Linear Attention، مع دعم النص إلى فيديو والنص-الصورة إلى فيديو. - SANA-Video 2.0: معماريات 5B و14B مع انتباه هجين خطي/softmax وAttention Residuals؛ وتم نشر نقطة تحقق 5B بدقة 720p ومعاينة DMD بأربع خطوات. - SANA-WM: نموذج عالمي قابل للتحكم بحجم 2.6B بدقة 720p، وفيديو بمقياس دقائق مع تحكم كاميرا 6-DoF. - SANA-Streaming: نموذج تحرير فيديو إلى فيديو في الوقت الحقيقي بحجم 2B بدقة 720p، وفيديو بمقياس دقائق. - Sol-RL: وصفات ما بعد التدريب بالتعلم المعزز باستخدام NVFP4 rollout وتدريب BF16، مع وصفات لـ SANA وFLUX.1 وSD3.5-L. تشمل التقنيات الرئيسية الموصوفة في المستودع الانتباه الخطي في العمود الفقري DiT، وضغط الصور DC-AE بنسبة 32x لتقليل الرموز الكامنة، ومشفّر نصي decoder-only، وBlock Causal Linear Attention مع Causal Mix-FFN للفيديو الطويل، وأخذ العينات Flow-DPM-Solver، وتقطير sCM، وRL rollout منخفض الدقة. ويذكر المشروع أن التكميم بدقة 4 بت يسمح بالنشر على وحدات GPU بذاكرة VRAM أقل من 8GB. التكامل مع المنظومة: النماذج متاحة عبر Hugging Face، وخطوط أنابيب diffusers، وعقد ComfyUI، وخدمة SGLang بواجهة برمجة تطبيقات متوافقة مع OpenAI، وما بعد التدريب Cosmos-RL، وواجهة Replicate API. وتُستضاف عروض توضيحية لـ SANA و4-bit وControlNet وSANA-Sprint وSANA-Video 2.0 وSANA-WM وSANA-Streaming. البدء: استنسخ المستودع وشغّل سكربت إعداد البيئة المرفق، ثم استخدم إعدادات الاستدلال والتدريب الموثقة. يتضمن README أمر مثال كامل لتوليد فيديو بدقة 720p باستخدام نقطة تحقق SANA-Video 2.0 5B. قاعدة الكود مرخصة تحت Apache 2.0.