প্রকল্প সম্পর্কে

SparkVSR হলো ইন্টারঅ্যাক্টিভ ভিডিও সুপার-রেজোলিউশনের জন্য একটি ECCV 2026 গবেষণা প্রকল্প। পুনরুদ্ধারকে একমুখী ব্ল্যাক-বক্স প্রক্রিয়া হিসেবে বিবেচনা না করে, এটি স্পার্স হাই-রেজোলিউশন কীফ্রেমকে ব্যবহারকারী-নিয়ন্ত্রণযোগ্য সংকেত হিসেবে ব্যবহার করে। মডেলটি ওই কীফ্রেমগুলো থেকে ভিজ্যুয়াল তথ্য ভিডিওজুড়ে প্রচার করে, পাশাপাশি মূল লো-রেজোলিউশন গতির ওপর ভিত্তি করে থাকে। পদ্ধতিটি CogVideoX1.5-5B-I2V-এর ওপর নির্মিত কীফ্রেম-কন্ডিশন্ড, লেটেন্ট-টু-পিক্সেল দুই-পর্যায়ের প্রশিক্ষণ পাইপলাইন ব্যবহার করে। স্টেজ ১ লেটেন্ট-স্পেসে কীফ্রেম-কন্ডিশন্ড অ্যাডাপ্টেশন সম্পাদন করে এবং স্টেজ ২ পিক্সেল-স্পেসে বিস্তার পরিশোধন করে। রিপোজিটরিতে ইনফারেন্স ও প্রশিক্ষণ কোড, Hugging Face-এ স্টেজ-১ ও স্টেজ-২ ওয়েট, ডেটাসেট প্রস্তুতির স্ক্রিপ্ট, বেঞ্চমার্ক নির্দেশিকা এবং একটি ComfyUI বাস্তবায়ন সরবরাহ করা হয়। ইনফারেন্সে তিনটি রেফারেন্স মোড আছে। API মোড পুনরুদ্ধার করা কীফ্রেম তৈরি করতে fal-ai/nano-banana-pro/edit এন্ডপয়েন্ট ব্যবহার করতে পারে। PiSA-SR মোড পৃথক ওপেন-সোর্স PiSA-SR প্রকল্পকে কীফ্রেম জেনারেটর হিসেবে ব্যবহার করে। নো-রেফারেন্স মোড বাহ্যিক কীফ্রেম ছাড়াই ব্লাইন্ড পুনরুদ্ধার করে এবং মূলত ফলব্যাক বা বেসলাইন হিসেবে উপস্থাপন করা হয়। ব্যবহারকারীরা কীফ্রেম ইনডেক্স, রেফারেন্স গাইডেন্স শক্তি এবং 4x আপস্কেল ফ্যাক্টর সেট করতে পারেন। ডকুমেন্টেশনে বলা হয়েছে রেফারেন্স ইনডেক্সগুলো চার ফ্রেমের বেশি ব্যবধানে থাকতে হবে এবং খুব ছোট ক্লিপের জন্য শুধুমাত্র প্রথম ফ্রেম ব্যবহার করার সুপারিশ করা হয়। README-তে নমনীয় কীফ্রেম নির্বাচনের সমর্থনের কথা জানানো হয়েছে, যার মধ্যে ম্যানুয়াল নির্বাচন, কোডেক I-ফ্রেম এক্সট্রাকশন এবং র‍্যান্ডম স্যাম্পলিং অন্তর্ভুক্ত। এটি এমন একটি গাইডেন্স প্রক্রিয়াও বর্ণনা করে যা রেফারেন্স অনুপস্থিত বা অসম্পূর্ণ হলে সরবরাহকৃত কীফ্রেমের প্রতি আনুগত্যকে ব্লাইন্ড পুনরুদ্ধারের সাথে ভারসাম্য করে। লেখকরা পুরোনো ফিল্ম পুনরুদ্ধার এবং ভিডিও স্টাইল ট্রান্সফারের মতো কাজে স্ট্যান্ডার্ড সুপার-রেজোলিউশনের বাইরেও পদ্ধতিটি প্রদর্শন করেছেন। সেটআপের জন্য Python 3.10 বা তার নতুন সংস্করণ, PyTorch 2.5 বা তার নতুন সংস্করণ, Diffusers এবং requirements.txt-তে তালিকাভুক্ত প্যাকেজ প্রয়োজন। চারটি A100 GPU-তে প্রশিক্ষণের জন্য নথিভুক্ত করা হয়েছে। প্রশিক্ষণ ডেটা নির্দেশিকায় HQ-VSR এবং DIV2K-HR অন্তর্ভুক্ত, আর মূল্যায়ন নির্দেশিকায় UDM10, SPMCS, YouHQ40, RealVSR এবং MovieLQ অন্তর্ভুক্ত। ইউনিফায়েড মূল্যায়ন স্ক্রিপ্ট বাহ্যিক DOVER এবং FastVQA/FasterVQA ইনস্টলেশন ব্যবহার করতে পারে, ফলাফল JSON-এ লেখা হয়। চূড়ান্ত ইনফারেন্সের জন্য শুধুমাত্র স্টেজ-২ চেকপয়েন্টই অভিপ্রেত।