iseebetter

iSeeBetter是一个Python/PyTorch研究实现，用于视频超分辨率，与2020年Springer《计算视觉媒体杂志》论文及斯坦福CS230项目相关。该方法旨在利用相邻帧的时间信息生成更高分辨率的视频，而非独立处理每一帧。 生成器是循环反向投影网络，包含单图像和多图像超分路径。多图像路径结合当前低分辨率帧、相邻帧及预计算的稠密光流图。判别器采用SRGAN。训练使用四部分损失：均方误差、感知损失、对抗损失和总变差损失。 光流支持通过Pyflow提供，这是Ce Liu的Coarse2Fine光流实现的Python封装。仓库包含Ubuntu和macOS（Python 3.7）的Pyflow二进制文件，并提供重建命令。 文档化训练数据包括SPMCS、Vid4、Vimeo90K及额外YouTube片段。低分辨率帧通过4倍双三次下采样生成，并使用旋转、翻转和随机裁剪增强。DatasetFetcher.py可获取Vimeo90K，SPMCS和Vid4提供链接。 所需包包括torch、pytorch-ssim、numpy、scikit-image、tqdm和opencv-python。安装依赖并构建Pyflow后，使用iSeeBetterTrain.py训练，iSeeBetterTest.py测试。--upscale_only选项禁用初始下采样。权重目录包含训练四轮的模型。 仓库还包含论文链接、架构图、评估示例、海报、引用信息及对SRGAN和RBPN-PyTorch实现的致谢。