iseebetter

iSeeBetter est une implémentation de recherche Python/PyTorch pour la super-résolution vidéo, associée à un article de 2020 du Springer Journal of Computational Visual Media et à un projet Stanford CS230. La méthode est conçue pour produire une vidéo de plus haute résolution en utilisant l’information temporelle des images voisines, au lieu de traiter chaque image indépendamment. Le générateur est un Recurrent Back-Projection Network doté de chemins de super-résolution mono-image et multi-images. Le chemin multi-images combine l’image basse résolution actuelle avec les images voisines et des cartes de flux optique dense précalculées. Le discriminateur est repris de SRGAN. L’apprentissage utilise une perte en quatre composantes : perte MSE, perte perceptuelle, perte antagoniste et perte de variation totale. La prise en charge du flux optique est assurée par Pyflow, une enveloppe Python de l’implémentation Coarse2Fine Optical Flow de Ce Liu. Le dépôt inclut des binaires Pyflow pour Ubuntu et macOS avec Python 3.7 et fournit des commandes pour le recompiler si nécessaire. Les données d’apprentissage documentées combinent SPMCS, Vid4, Vimeo90K et des clips YouTube supplémentaires. Les images basse résolution sont produites par sous-échantillonnage bicubique 4x, et la rotation, le retournement et le recadrage aléatoire sont utilisés comme augmentation. DatasetFetcher.py peut récupérer Vimeo90K, et des liens sont fournis pour SPMCS et Vid4. Les paquets requis incluent torch, pytorch-ssim, numpy, scikit-image, tqdm et opencv-python. Après avoir installé les dépendances et compilé Pyflow, l’apprentissage est lancé avec iSeeBetterTrain.py et le test avec iSeeBetterTest.py. L’option --upscale_only désactive le sous-échantillonnage initial. Un modèle entraîné pendant quatre époques est inclus dans le répertoire weights. Le dépôt contient également des liens vers l’article, des diagrammes d’architecture, des exemples d’évaluation, un poster, les informations de citation et des crédits aux implémentations référencées SRGAN et RBPN-PyTorch.