इस प्रोजेक्ट के बारे में

SparkVSR ECCV 2026 का एक शोध प्रोजेक्ट है जो इंटरैक्टिव वीडियो सुपर-रिज़ॉल्यूशन के लिए है। बहाली को एकतरफा ब्लैक-बॉक्स प्रक्रिया के रूप में मानने के बजाय, यह विरल उच्च-रिज़ॉल्यूशन कीफ्रेम को उपयोगकर्ता-नियंत्रणीय संकेत के रूप में उपयोग करता है। मॉडल उन कीफ्रेम से वीडियो के माध्यम से दृश्य जानकारी प्रसारित करता है जबकि मूल कम-रिज़ॉल्यूशन गति में आधारित रहता है। यह विधि CogVideoX1.5-5B-I2V पर निर्मित कीफ्रेम-कंडीशन्ड, लेटेंट-टू-पिक्सेल दो-चरणीय प्रशिक्षण पाइपलाइन का उपयोग करती है। चरण 1 लेटेंट-स्पेस कीफ्रेम-कंडीशन्ड अनुकूलन करता है, और चरण 2 पिक्सेल-स्पेस विवरण शोधन करता है। रिपॉजिटरी अनुमान और प्रशिक्षण कोड, Hugging Face पर चरण-1 और चरण-2 वज़न, डेटासेट तैयारी स्क्रिप्ट, बेंचमार्क निर्देश और ComfyUI कार्यान्वयन प्रदान करती है। अनुमान तीन संदर्भ मोड प्रदान करता है। API मोड बहाल कीफ्रेम उत्पन्न करने के लिए fal-ai/nano-banana-pro/edit एंडपॉइंट का उपयोग कर सकता है। PiSA-SR मोड कीफ्रेम जनरेटर के रूप में अलग ओपन-सोर्स PiSA-SR प्रोजेक्ट का उपयोग करता है। नो-रेफरेंस मोड बाहरी कीफ्रेम के बिना ब्लाइंड बहाली करता है और मुख्य रूप से फॉलबैक या बेसलाइन के रूप में प्रस्तुत किया जाता है। उपयोगकर्ता कीफ्रेम इंडेक्स, संदर्भ मार्गदर्शन शक्ति और 4x अपस्केल फैक्टर सेट कर सकते हैं। दस्तावेज़ीकरण नोट करता है कि संदर्भ इंडेक्स चार फ्रेम से अधिक अलग होने चाहिए और बहुत छोटे क्लिप के लिए केवल पहले फ्रेम का उपयोग करने की सिफारिश करता है। README लचीली कीफ्रेम चयन की रिपोर्ट करता है, जिसमें मैन्युअल चयन, कोडेक I-फ्रेम निष्कर्षण और यादृच्छिक नमूनाकरण शामिल है। यह एक मार्गदर्शन तंत्र का भी वर्णन करता है जो प्रदान किए गए कीफ्रेम के पालन को ब्लाइंड बहाली के साथ संतुलित करता है जब संदर्भ गायब या अपूर्ण होते हैं। लेखक मानक सुपर-रिज़ॉल्यूशन से परे पुरानी फिल्म बहाली और वीडियो शैली स्थानांतरण जैसे कार्यों पर दृष्टिकोण प्रदर्शित करते हैं। सेटअप के लिए Python 3.10 या नया, PyTorch 2.5 या नया, Diffusers और requirements.txt में सूचीबद्ध पैकेज आवश्यक हैं। प्रशिक्षण चार A100 GPU के लिए दस्तावेज़ित है। प्रशिक्षण डेटा मार्गदर्शन HQ-VSR और DIV2K-HR को कवर करता है, जबकि मूल्यांकन मार्गदर्शन UDM10, SPMCS, YouHQ40, RealVSR और MovieLQ को कवर करता है। एकीकृत मूल्यांकन स्क्रिप्ट बाहरी DOVER और FastVQA/FasterVQA इंस्टॉलेशन का उपयोग कर सकती है, जिसके परिणाम JSON में लिखे जाते हैं। अंतिम अनुमान के लिए केवल चरण-2 चेकपॉइंट का इरादा है।