À propos du projet
DeCoMix-HDR est l’implémentation officielle d’une méthode d’apprentissage profond pour la conversion généralisée SDR vers HDR. Elle est conçue pour traiter des entrées SDR produites avec divers styles de mappage tonal et de dégradation, notamment différentes courbes tonales, décalages d’exposition, compression des hautes lumières, changements de saturation et dominantes colorées.
La méthode apprend une représentation de dégradation partagée et aux attributs démêlés à l’aide d’une supervision contrastive sensible à la luminance et à la chrominance. Un codeur basé sur UNet produit des descripteurs de dégradation globaux et locaux. Des négatifs candidats sont collectés à partir de versions SDR de la même scène HDR générées avec différents styles de dégradation, puis classés à l’aide de la distance de luminance logarithmique et de la distance de chromaticité Yxy. Le mélange de représentations guidé par le classement interpole les négatifs sélectionnés vers les clés positives afin de créer des négatifs difficiles continus. Le réseau de mappage HDR adaptatif à la dégradation utilise une modulation globale dense des canaux et une modulation locale éparse par pixel pour reconstruire la sortie HDR. Les échantillons négatifs et le codeur avec momentum ne sont utilisés qu’à l’entraînement ; l’inférence ne nécessite qu’une image SDR et un point de contrôle entraîné.
Le dépôt suit une structure de style BasicSR et inclut des points d’entrée d’entraînement et d’évaluation, des fichiers de configuration YAML, des architectures de modèles, des chargeurs de jeux de données contrastifs, des utilitaires de perte et de métrique, des scripts de lancement distribué et des assistants de préparation des données. Une correspondance article-code identifie l’enveloppe d’entraînement, l’architecture DAHM, le codeur contrastif, le jeu de données de négatifs classés, la routine de mélange latent, la logique d’entraînement par étapes et les clés de point de contrôle.
L’environnement logiciel documenté utilise Python 3.8 ou une version plus récente, PyTorch avec CUDA, torchvision, kornia, lmdb et OpenCV. Les principales expériences utilisent HDRTV4K ou HDRTVDM pour l’entraînement et l’évaluation des dégradations connues, ainsi que HDRTV1K pour l’évaluation des dégradations inconnues. Les jeux de données sont attendus au format LMDB avec des métadonnées de noms et des fichiers de listes de négatifs classés de luminance et de chrominance. Un script assistant peut créer des liens symboliques vers les jeux de données et des fichiers de configuration locaux, puis vérifier les données requises.
Le README fournit des commandes d’entraînement mono-GPU et distribué, un calendrier par défaut de 400 000 itérations, des chemins de points de contrôle et des commandes de validation complète. Les sorties d’évaluation incluent des mesures PSNR, SSIM et Delta E ITP. Le tableau de résultats rapporte également HDR-VDP3. Les résultats représentatifs indiqués sont 31,20 PSNR et 0,9213 SSIM sur les dégradations connues HDRTV4K, et 29,12 PSNR et 0,9412 SSIM sur la dégradation inconnue HDRTV1K ; le README précise que les valeurs exactes dépendent de la préparation du jeu de données, du point de contrôle et de l’environnement d’évaluation.
Certains noms historiques de classes et de fichiers RealRep subsistent pour la compatibilité avec les registres de modèles et les points de contrôle. Les configurations d’ablation, les journaux d’entraînement, les sources de l’article, les figures, les PDF, les jeux de données locaux et les sorties d’expériences ne sont pas inclus dans le paquet public.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.