इस प्रोजेक्ट के बारे में

HunyuanVideo-1.5 टेनसेंट हुनयुआन द्वारा जारी एक ओपन-सोर्स वीडियो जनरेशन मॉडल है। यह 8.3 बिलियन पैरामीटर वाला एक हल्का डिफ्यूजन ट्रांसफॉर्मर (DiT) मॉडल है, जिसे मॉडल ऑफलोडिंग सक्षम होने पर केवल 14 GB VRAM के साथ उपभोक्ता-ग्रेड NVIDIA GPU पर चलाने के लिए डिज़ाइन किया गया है। रिपॉजिटरी इन्फ्रेंस कोड, मॉडल वेट, प्रशिक्षण कोड और LoRA फाइन-ट्यूनिंग स्क्रिप्ट प्रदान करता है। क्षमताएँ - 480p और 720p पर टेक्स्ट-टू-वीडियो (T2V) और इमेज-टू-वीडियो (I2V) जनरेशन, एक कुछ-चरणीय सुपर-रिज़ॉल्यूशन नेटवर्क के साथ जो आउटपुट को 1080p तक बढ़ाता है। - 16x स्थानिक और 4x अस्थायी संपीड़न वाला एक 3D कॉज़ल VAE, साथ ही एक चयनात्मक और स्लाइडिंग टाइल अटेंशन (SSTA) तंत्र जो लंबे अनुक्रमों के लिए गणना को कम करने के लिए है। - ग्लिफ़-जागरूक टेक्स्ट एन्कोडिंग के माध्यम से द्विभाषी प्रॉम्प्ट समझ, और एक vLLM-संगत एंडपॉइंट के माध्यम से वैकल्पिक स्वचालित प्रॉम्प्ट पुनर्लेखन (उदाहरण Qwen3 मॉडल का संदर्भ देते हैं)। - कई त्वरण विकल्प: CFG-डिस्टिल्ड मॉडल, स्टेप-डिस्टिल्ड मॉडल (480p I2V, 8 या 12 स्टेप अनुशंसित), स्पार्स अटेंशन, SageAttention, और फीचर कैशिंग (deepcache, teacache, taylorcache)। FP8 GEMM इन्फ्रेंस भी समर्थित है। - कई GPU पर torchrun के माध्यम से वितरित इन्फ्रेंस, कॉन्फ़िगर करने योग्य ऑफलोडिंग और ग्रुप ऑफलोडिंग के साथ। प्रशिक्षण और एकीकरण - प्रशिक्षण स्क्रिप्ट (train.py) Muon ऑप्टिमाइज़र का उपयोग करके वितरित प्रशिक्षण, FSDP, संदर्भ समानांतर और ग्रेडिएंट चेकपॉइंटिंग का समर्थन करती है। - सूचीबद्ध एकीकरणों में Hugging Face Diffusers, ComfyUI (उपयोग गाइड और एक सामुदायिक प्लगइन के साथ), LightX2V, Wan2GP और ComfyUI-MagCache शामिल हैं। आवश्यकताएँ - Linux, Python 3.10+, CUDA-सक्षम NVIDIA GPU, और उपयोग की गई सुविधाओं के आधार पर Flash Attention, Flex-Block-Attention, SageAttention और SGL-Kernel जैसी अटेंशन लाइब्रेरीज़ की स्थापना। मॉडल वेट Hugging Face पर वितरित किए जाते हैं, जिसमें 480p और 720p T2V/I2V वेरिएंट, डिस्टिल्ड संस्करण और सुपर-रिज़ॉल्यूशन मॉडल शामिल हैं। कुछ वेट (जैसे कुछ स्पार्स और डिस्टिल्ड 720p वेरिएंट) को जल्द आने वाले के रूप में चिह्नित किया गया है। README एक प्रॉम्प्ट हैंडबुक और एक arXiv रिपोर्ट से भी लिंक करता है।