इस प्रोजेक्ट के बारे में

iSeeBetter एक Python/PyTorch अनुसंधान कार्यान्वयन है जो वीडियो सुपर-रिज़ॉल्यूशन के लिए है, जो 2020 Springer Journal of Computational Visual Media पेपर और Stanford CS230 प्रोजेक्ट से जुड़ा है। यह विधि प्रत्येक फ्रेम को स्वतंत्र रूप से संसाधित करने के बजाय पड़ोसी फ्रेमों से लौकिक जानकारी का उपयोग करके उच्च-रिज़ॉल्यूशन वीडियो उत्पन्न करने के लिए डिज़ाइन की गई है। जनरेटर एक Recurrent Back-Projection Network है जिसमें एकल-छवि और बहु-छवि सुपर-रिज़ॉल्यूशन पथ हैं। बहु-छवि पथ वर्तमान कम-रिज़ॉल्यूशन फ्रेम को पड़ोसी फ्रेमों और पूर्व-गणना किए गए सघन ऑप्टिकल-फ्लो मैप के साथ जोड़ता है। डिस्क्रिमिनेटर SRGAN से लिया गया है। प्रशिक्षण में MSE, अवधारणात्मक, प्रतिकूल, और कुल-भिन्नता हानियों से युक्त चार-भागीय हानि का उपयोग किया जाता है। ऑप्टिकल-फ्लो समर्थन Pyflow के माध्यम से प्रदान किया जाता है, जो Ce Liu के Coarse2Fine Optical Flow कार्यान्वयन के लिए एक Python रैपर है। रिपॉजिटरी में Python 3.7 के साथ Ubuntu और macOS के लिए Pyflow बाइनरी शामिल हैं और आवश्यकता पड़ने पर इसे पुनर्निर्माण करने के लिए कमांड प्रदान करती है। प्रलेखित प्रशिक्षण डेटा SPMCS, Vid4, Vimeo90K, और अतिरिक्त YouTube क्लिप को जोड़ता है। कम-रिज़ॉल्यूशन फ्रेम 4x बाइक्यूबिक डाउनसैंपलिंग के माध्यम से उत्पन्न होते हैं, और रोटेशन, फ्लिपिंग, और रैंडम क्रॉपिंग का उपयोग ऑग्मेंटेशन के रूप में किया जाता है। DatasetFetcher.py Vimeo90K प्राप्त कर सकता है, और SPMCS और Vid4 के लिए लिंक प्रदान किए गए हैं। आवश्यक पैकेजों में torch, pytorch-ssim, numpy, scikit-image, tqdm, और opencv-python शामिल हैं। आवश्यकताओं को स्थापित करने और Pyflow बनाने के बाद, प्रशिक्षण iSeeBetterTrain.py के साथ और परीक्षण iSeeBetterTest.py के साथ चलाया जाता है। --upscale_only विकल्प प्रारंभिक डाउनस्केलिंग को अक्षम करता है। चार एपॉक के लिए प्रशिक्षित एक मॉडल weights निर्देशिका में शामिल है। रिपॉजिटरी में पेपर लिंक, आर्किटेक्चर आरेख, मूल्यांकन उदाहरण, एक पोस्टर, उद्धरण जानकारी, और संदर्भित SRGAN और RBPN-PyTorch कार्यान्वयनों के क्रेडिट भी शामिल हैं।