প্রকল্প সম্পর্কে

iSeeBetter হল একটি Python/PyTorch গবেষণা বাস্তবায়ন যা ভিডিও সুপার-রেজোলিউশনের জন্য, যা 2020 সালের Springer Journal of Computational Visual Media-তে প্রকাশিত একটি গবেষণাপত্র এবং একটি Stanford CS230 প্রকল্পের সাথে যুক্ত। পদ্ধতিটি প্রতিটি ফ্রেমকে স্বাধীনভাবে বিবেচনা না করে প্রতিবেশী ফ্রেম থেকে অস্থায়ী তথ্য ব্যবহার করে উচ্চ-রেজোলিউশন ভিডিও তৈরি করার জন্য ডিজাইন করা হয়েছে। জেনারেটরটি একটি রিকারেন্ট ব্যাক-প্রজেকশন নেটওয়ার্ক যা একক-ইমেজ এবং মাল্টি-ইমেজ সুপার-রেজোলিউশন পাথ সহ। মাল্টি-ইমেজ পাথ বর্তমান লো-রেজোলিউশন ফ্রেমকে প্রতিবেশী ফ্রেম এবং পূর্ব-গণনা করা ঘন অপটিক্যাল-ফ্লো ম্যাপের সাথে একত্রিত করে। ডিসক্রিমিনেটরটি SRGAN থেকে নেওয়া হয়েছে। প্রশিক্ষণে MSE, পারসেপচুয়াল, অ্যাডভারসারিয়াল এবং টোটাল-ভ্যারিয়েশন লস সমন্বিত একটি চার-অংশের লস ব্যবহার করা হয়। অপটিক্যাল-ফ্লো সমর্থন Pyflow-এর মাধ্যমে সরবরাহ করা হয়, যা Ce Liu-এর Coarse2Fine Optical Flow বাস্তবায়নের জন্য একটি Python র‍্যাপার। রিপোজিটরিটিতে Python 3.7 সহ Ubuntu এবং macOS-এর জন্য Pyflow বাইনারি অন্তর্ভুক্ত রয়েছে এবং প্রয়োজন হলে এটি পুনর্নির্মাণের জন্য কমান্ড সরবরাহ করে। নথিভুক্ত প্রশিক্ষণ ডেটা SPMCS, Vid4, Vimeo90K এবং অতিরিক্ত YouTube ক্লিপগুলিকে একত্রিত করে। লো-রেজোলিউশন ফ্রেমগুলি 4x বাইকিউবিক ডাউনস্যাম্পলিংয়ের মাধ্যমে উত্পাদিত হয় এবং ঘূর্ণন, ফ্লিপিং এবং র‍্যান্ডম ক্রপিং অগমেন্টেশন হিসাবে ব্যবহৃত হয়। DatasetFetcher.py Vimeo90K পুনরুদ্ধার করতে পারে এবং SPMCS ও Vid4-এর জন্য লিঙ্ক সরবরাহ করা হয়েছে। প্রয়োজনীয় প্যাকেজগুলির মধ্যে রয়েছে torch, pytorch-ssim, numpy, scikit-image, tqdm এবং opencv-python। প্রয়োজনীয়তা ইনস্টল করার এবং Pyflow তৈরি করার পরে, iSeeBetterTrain.py দিয়ে প্রশিক্ষণ এবং iSeeBetterTest.py দিয়ে পরীক্ষা চালানো হয়। --upscale_only অপশনটি প্রাথমিক ডাউনস্কেলিং অক্ষম করে। চারটি ইপোকের জন্য প্রশিক্ষিত একটি মডেল ওয়েট ডিরেক্টরিতে অন্তর্ভুক্ত রয়েছে। রিপোজিটরিটিতে গবেষণাপত্রের লিঙ্ক, আর্কিটেকচার ডায়াগ্রাম, মূল্যায়নের উদাহরণ, একটি পোস্টার, উদ্ধৃতি তথ্য এবং উল্লেখিত SRGAN ও RBPN-PyTorch বাস্তবায়নের কৃতিত্বও রয়েছে।