このプロジェクトについて

DeCoMix-HDRは、汎用的なSDR-to-HDR変換のための深層学習手法の公式実装です。この手法は、異なるトーンカーブ、露出シフト、ハイライト圧縮、彩度変化、色かぶりなど、様々なトーンマッピングおよび劣化スタイルによって生成されたSDR入力を処理するように設計されています。 本手法は、輝度および色度を考慮した対照的監視を用いて、共有の属性分離された劣化表現を学習します。UNetベースのエンコーダは、大域的および局所的な劣化記述子を生成します。候補ネガティブは、異なる劣化スタイルで生成された同一HDRシーンのSDRバージョンから収集され、対数輝度距離とYxy色度距離を用いてランク付けされます。ランク誘導型表現混合は、選択されたネガティブをポジティブキーに向かって補間し、連続的なハードネガティブを生成します。劣化適応型HDRマッピングネットワークは、密な大域的チャネル変調と疎な局所的ピクセル単位変調を使用してHDR出力を再構成します。ネガティブサンプルとモメンタムエンコーダは訓練時のみ使用され、推論には1枚のSDR画像と訓練済みチェックポイントが必要です。 リポジトリはBasicSRスタイルの構造に従い、訓練および評価のエントリポイント、YAML設定ファイル、モデルアーキテクチャ、対照的データセットローダー、損失およびメトリクスユーティリティ、分散起動スクリプト、データセット準備ヘルパーを含みます。論文からコードへのマッピングでは、訓練ラッパー、DAHMアーキテクチャ、対照的エンコーダ、ランク付きネガティブデータセット、潜在混合ルーチン、段階的訓練ロジック、チェックポイントキーが特定されています。 文書化されたソフトウェア環境は、Python 3.8以降、CUDA対応PyTorch、torchvision、kornia、lmdb、OpenCVを使用します。主な実験では、訓練および既知劣化評価にHDRTV4KまたはHDRTVDM、未知劣化評価にHDRTV1Kを使用します。データセットは、名前メタデータとランク付き輝度および色度ネガティブリストファイルを含むLMDB形式が期待されます。ヘルパースクリプトは、データセットのシンボリックリンクとローカル設定ファイルを作成し、必要なデータを検証できます。 READMEは、単一GPUおよび分散訓練コマンド、デフォルトの400,000イテレーションスケジュール、チェックポイントパス、完全検証コマンドを提供します。評価出力には、PSNR、SSIM、Delta E ITP測定値が含まれます。結果表はHDR-VDP3も報告します。代表的な報告結果は、HDRTV4K既知劣化でPSNR 31.20、SSIM 0.9213、HDRTV1K未知劣化でPSNR 29.12、SSIM 0.9412であり、READMEは正確な値がデータセット準備、チェックポイント、評価環境に依存することを注記しています。 一部の過去のRealRepクラスおよびファイル名は、モデルレジストリおよびチェックポイントとの互換性のために残されています。アブレーション設定、訓練ログ、論文ソース、図、PDF、ローカルデータセット、実験出力は公開パッケージに含まれていません。