这个项目能做什么
DeCoMix-HDR是一种深度学习方法的官方实现,用于通用的SDR到HDR转换。它旨在处理由不同色调映射和退化风格产生的SDR输入,包括不同的色调曲线、曝光偏移、高光压缩、饱和度变化和色偏。
该方法利用亮度和色度感知的对比监督学习共享的属性解耦退化表示。基于UNet的编码器生成全局和局部退化描述符。候选负样本从同一HDR场景的不同退化风格生成的SDR版本中收集,然后使用对数亮度距离和Yxy色度距离进行排序。排序引导的表示混合将选定的负样本向正样本插值,以创建连续的难负样本。退化自适应HDR映射网络使用密集全局通道调制和稀疏局部像素级调制来重建HDR输出。负样本和动量编码器仅在训练期间使用;推理时需要一张SDR图像和一个训练好的检查点。
该仓库遵循BasicSR风格的结构,包括训练和评估入口点、YAML配置文件、模型架构、对比数据集加载器、损失和度量工具、分布式启动脚本以及数据集准备辅助工具。论文到代码的映射标识了训练包装器、DAHM架构、对比编码器、排序负样本数据集、潜在混合例程、分阶段训练逻辑和检查点键。
文档化的软件环境使用Python 3.8或更新版本、带有CUDA的PyTorch、torchvision、kornia、lmdb和OpenCV。主要实验使用HDRTV4K或HDRTVDM进行训练和已知退化评估,以及HDRTV1K进行未知退化评估。数据集预期为LMDB格式,包含名称元数据和排序的亮度和色度负样本列表文件。辅助脚本可以创建数据集符号链接和本地配置文件,并验证所需数据。
README提供了单GPU和分布式训练命令、默认的400,000次迭代计划、检查点路径和完整验证命令。评估输出包括PSNR、SSIM和Delta E ITP测量值。结果表还报告了HDR-VDP3。代表性的报告结果是HDRTV4K已知退化上的31.20 PSNR和0.9213 SSIM,以及HDRTV1K未知退化上的29.12 PSNR和0.9412 SSIM,README指出确切值取决于数据集准备、检查点和评估环境。
一些历史性的RealRep类和文件名保留用于与模型注册表和检查点的兼容性。消融配置、训练日志、论文来源、图表、PDF、本地数据集和实验输出不包含在公共包中。
评论
0 评分人数达到10人后显示
登录后参与讨论。