عن المشروع

SparkVSR هو مشروع بحثي من ECCV 2026 مخصص لتحسين الدقة الفائقة للفيديو التفاعلي. بدلًا من التعامل مع الاستعادة كعملية صندوق أسود أحادية الاتجاه، يستخدم المشروع إطارات مفتاحية عالية الدقة ومتباعدة كإشارة يمكن للمستخدم التحكم بها. ينشر النموذج المعلومات البصرية من تلك الإطارات المفتاحية عبر الفيديو مع البقاء مرتكزًا على الحركة الأصلية منخفضة الدقة. تعتمد الطريقة على خط أنابيب تدريب من مرحلتين، من الفضاء الكامن إلى البكسل، مشروط بالإطارات المفتاحية ومبني على CogVideoX1.5-5B-I2V. تنفذ المرحلة 1 تكييفًا في الفضاء الكامن مشروطًا بالإطار المفتاحي، بينما تنفذ المرحلة 2 صقلًا للتفاصيل في فضاء البكسل. يوفر المستودع كود الاستنتاج والتدريب، وأوزان المرحلتين 1 و2 على Hugging Face، وسكربتات إعداد البيانات، وتعليمات المعايير، وتطبيقًا داخل ComfyUI. يوفر الاستنتاج ثلاثة أوضاع للمراجع. يمكن لوضع API استخدام نقطة النهاية fal-ai/nano-banana-pro/edit لتوليد إطارات مفتاحية مستعادة. يستخدم وضع PiSA-SR مشروع PiSA-SR مفتوح المصدر المنفصل كمولّد للإطارات المفتاحية. أما وضع بدون مراجع فينفذ استعادة عمياء بدون إطارات مفتاحية خارجية، ويُقدَّم بشكل أساسي كخيار احتياطي أو خط أساس. يمكن للمستخدمين تعيين فهارس الإطارات المفتاحية، وقوة توجيه المرجع، وعامل تكبير بمقدار 4x. تشير الوثائق إلى أن الفهارس المرجعية يجب أن تكون متباعدة بأكثر من أربعة إطارات، وتوصي باستخدام الإطار الأول فقط للمقاطع القصيرة جدًا. يذكر ملف README دعمًا لاختيار مرن للإطارات المفتاحية، يشمل الاختيار اليدوي، واستخراج إطارات I من برنامج الترميز، وأخذ العينات العشوائي. يصف أيضًا آلية توجيه توازن بين الالتزام بالإطارات المفتاحية المقدمة والاستعادة العمياء عند غياب المراجع أو نقصها. يُظهر المؤلفون أن النهج يتجاوز تحسين الدقة الفائقة القياسي إلى مهام مثل استعادة الأفلام القديمة ونقل أسلوب الفيديو. يتطلب الإعداد Python 3.10 أو أحدث، وPyTorch 2.5 أو أحدث، وDiffusers، والحزم المذكورة في requirements.txt. تم توثيق التدريب على أربع وحدات معالجة رسومية A100. تغطي إرشادات بيانات التدريب HQ-VSR وDIV2K-HR، بينما تغطي إرشادات التقييم UDM10 وSPMCS وYouHQ40 وRealVSR وMovieLQ. يمكن لسكربت التقييم الموحد استخدام تثبيتات خارجية لـ DOVER وFastVQA/FasterVQA، مع كتابة النتائج إلى JSON. نقطة تفتيش المرحلة 2 هي المخصصة فقط للاستنتاج النهائي.