عن المشروع

iSeeBetter هو تنفيذ بحثي بلغة Python/PyTorch لفائقة الدقة للفيديو، مرتبط بورقة بحثية نُشرت عام 2020 في Springer Journal of Computational Visual Media وبمشروع Stanford CS230. صُممت الطريقة لتوليد فيديو أعلى دقة مع استخدام المعلومات الزمانية من الإطارات المجاورة بدلًا من التعامل مع كل إطار بشكل مستقل. المولّد هو Recurrent Back-Projection Network يحتوي على مساري فائقة الدقة لصورة مفردة ولصور متعددة. يجمع مسار الصور المتعددة بين الإطار منخفض الدقة الحالي والإطارات المجاورة وخرائط التدفق البصري الكثيف المحسوبة مسبقًا. المميِّز مأخوذ من SRGAN. يستخدم التدريب خسارة من أربعة أجزاء: MSE وperceptual وadversarial وtotal-variation. يُوفَّر دعم التدفق البصري عبر Pyflow، وهو غلاف Python لتنفيذ Ce Liu's Coarse2Fine Optical Flow. يتضمن المستودع ملفات Pyflow الثنائية لـ Ubuntu وmacOS مع Python 3.7، ويوفر أوامر لإعادة بنائه عند الحاجة. تجمع بيانات التدريب الموثقة بين SPMCS وVid4 وVimeo90K ومقاطع إضافية من YouTube. تُنتج الإطارات منخفضة الدقة عبر إنزال 4x bicubic، ويُستخدم التدوير والقلب والقص العشوائي كتحسين للبيانات. يمكن لـ DatasetFetcher.py جلب Vimeo90K، وتُوفَّر روابط لـ SPMCS وVid4. تتضمن الحزم المطلوبة torch وpytorch-ssim وnumpy وscikit-image وtqdm وopencv-python. بعد تثبيت المتطلبات وبناء Pyflow، يُشغَّل التدريب عبر iSeeBetterTrain.py والاختبار عبر iSeeBetterTest.py. يوقف الخيار --upscale_only الإنزال الأولي. يوجد نموذج دُرِّب لأربع حقبات (epochs) في مجلد weights. يحتوي المستودع أيضًا على روابط الأوراق البحثية، ومخططات البنية، وأمثلة التقييم، وملصق، ومعلومات الاقتباس، وائتمانات لتنفيذي SRGAN وRBPN-PyTorch المُشار إليهما.