इस प्रोजेक्ट के बारे में

SANA NVIDIA लैब्स का एक दक्षता-केंद्रित ओपन-सोर्स कोडबेस है, जो उच्च-रिज़ॉल्यूशन छवि और वीडियो निर्माण के लिए है। यह डिफ्यूज़न ट्रांसफॉर्मर मॉडल के परिवार के लिए पूर्ण प्रशिक्षण और अनुमान पाइपलाइनों को बंडल करता है, जिसमें SANA, SANA-1.5, SANA-Sprint, SANA-Video, SANA-Video 2.0, SANA-WM, SANA-Streaming और Sol-RL शामिल हैं। यह क्या प्रदान करता है: - 4K रिज़ॉल्यूशन तक टेक्स्ट-टू-इमेज निर्माण, 600M और 1.6B स्केल पर मॉडल वेरिएंट और बहुभाषी (अंग्रेजी, चीनी, इमोजी) फाइन-ट्यून्ड चेकपॉइंट्स के साथ। - SANA-1.5: बेहतर गुणवत्ता के लिए प्रशिक्षण-समय और अनुमान-समय कंप्यूट स्केलिंग। - SANA-Sprint: sCM डिस्टिलेशन के माध्यम से एक/कुछ-चरणीय निर्माण, H100 पर प्रति 1024px छवि 0.1 सेकंड की रिपोर्ट के साथ। - SANA-Video और LongSANA: ब्लॉक कॉज़ल लीनियर अटेंशन का उपयोग करके वीडियो निर्माण, टेक्स्ट-टू-वीडियो और टेक्स्ट-इमेज-टू-वीडियो समर्थन के साथ। - SANA-Video 2.0: हाइब्रिड लीनियर/सॉफ्टमैक्स अटेंशन और अटेंशन रेसिड्यूअल्स के साथ 5B और 14B आर्किटेक्चर; एक 5B 720p चेकपॉइंट और एक 4-चरणीय DMD पूर्वावलोकन प्रकाशित हैं। - SANA-WM: 720p, मिनट-स्केल वीडियो के लिए 6-DoF कैमरा नियंत्रण के साथ एक 2.6B नियंत्रणीय विश्व मॉडल। - SANA-Streaming: 720p, मिनट-स्केल वीडियो के लिए एक 2B रीयल-टाइम स्ट्रीमिंग वीडियो-टू-वीडियो संपादन मॉडल। - Sol-RL: NVFP4 रोलआउट और BF16 प्रशिक्षण का उपयोग करके सुदृढीकरण-सीखने के पोस्ट-ट्रेनिंग व्यंजन, SANA, FLUX.1 और SD3.5-L के लिए व्यंजनों के साथ। रिपॉजिटरी में वर्णित प्रमुख तकनीकों में DiT बैकबोन में लीनियर अटेंशन, लेटेंट टोकन को कम करने के लिए DC-AE 32x छवि संपीड़न, एक डिकोडर-ओनली टेक्स्ट एनकोडर, लंबे वीडियो के लिए कॉज़ल मिक्स-FFN के साथ ब्लॉक कॉज़ल लीनियर अटेंशन, फ्लो-DPM-सॉल्वर सैंपलिंग, sCM डिस्टिलेशन और कम-परिशुद्धता RL रोलआउट शामिल हैं। परियोजना बताती है कि 4-बिट क्वांटाइज़ेशन 8GB से कम VRAM वाले GPU पर तैनाती की अनुमति देता है। पारिस्थितिकी तंत्र एकीकरण: मॉडल Hugging Face, डिफ्यूज़र्स पाइपलाइनों, ComfyUI नोड्स, OpenAI-संगत API के साथ SGLang सर्विंग, Cosmos-RL पोस्ट-ट्रेनिंग और Replicate API के माध्यम से उपलब्ध हैं। SANA, 4-बिट, ControlNet, SANA-Sprint, SANA-Video 2.0, SANA-WM और SANA-Streaming के लिए डेमो होस्ट किए गए हैं। आरंभ करना: रिपॉजिटरी को क्लोन करें और प्रदान की गई पर्यावरण सेटअप स्क्रिप्ट चलाएं, फिर प्रलेखित अनुमान और प्रशिक्षण कॉन्फ़िगरेशन का उपयोग करें। README में SANA-Video 2.0 5B चेकपॉइंट के साथ 720p वीडियो उत्पन्न करने के लिए एक पूर्ण उदाहरण कमांड शामिल है। कोडबेस Apache 2.0 के तहत लाइसेंस प्राप्त है।