iseebetter

iSeeBetter es una implementación de investigación en Python/PyTorch para superresolución de video, asociada con un artículo de 2020 en Springer Journal of Computational Visual Media y un proyecto de Stanford CS230. El método está diseñado para generar video de mayor resolución utilizando información temporal de fotogramas vecinos en lugar de tratar cada fotograma de forma independiente. El generador es una Red de Proyección Inversa Recurrente con rutas de superresolución de imagen única y múltiple. La ruta múltiple combina el fotograma de baja resolución actual con fotogramas vecinos y mapas de flujo óptico denso precalculados. El discriminador está tomado de SRGAN. El entrenamiento utiliza una pérdida de cuatro partes que consiste en pérdidas MSE, perceptual, adversarial y de variación total. El soporte de flujo óptico se proporciona a través de Pyflow, un envoltorio de Python para la implementación de Flujo Óptico Grueso a Fino de Ce Liu. El repositorio incluye binarios de Pyflow para Ubuntu y macOS con Python 3.7 y proporciona comandos para reconstruirlo si es necesario. Los datos de entrenamiento documentados combinan SPMCS, Vid4, Vimeo90K y clips adicionales de YouTube. Los fotogramas de baja resolución se producen mediante submuestreo bicúbico 4x, y se utilizan rotación, volteo y recorte aleatorio como aumento. DatasetFetcher.py puede recuperar Vimeo90K, y se proporcionan enlaces para SPMCS y Vid4. Los paquetes requeridos incluyen torch, pytorch-ssim, numpy, scikit-image, tqdm y opencv-python. Después de instalar los requisitos y construir Pyflow, el entrenamiento se ejecuta con iSeeBetterTrain.py y las pruebas con iSeeBetterTest.py. La opción --upscale_only desactiva la reducción de escala inicial. Un modelo entrenado durante cuatro épocas se incluye en el directorio de pesos. El repositorio también contiene enlaces a artículos, diagramas de arquitectura, ejemplos de evaluación, un póster, información de citas y créditos a las implementaciones de SRGAN y RBPN-PyTorch referenciadas.