Об этом проекте
DeCoMix-HDR — официальная реализация метода глубокого обучения для обобщённого преобразования SDR в HDR. Она предназначена для обработки SDR-входов, полученных при различных стилях тонального отображения и деградации, включая разные тональные кривые, сдвиги экспозиции, сжатие светов, изменения насыщенности и цветовые сдвиги.
Метод извлекает общее представление деградации с разделением атрибутов с помощью контрастного контроля, учитывающего яркость и цветность. Кодировщик на основе UNet формирует глобальные и локальные дескрипторы деградации. Негативные примеры-кандидаты собираются из SDR-версий одной и той же HDR-сцены, созданных с разными стилями деградации, после чего ранжируются с использованием расстояния по логарифмической яркости и расстояния цветности в пространстве Yxy. Управляемое ранжированием смешивание представлений интерполирует выбранные негативы к позитивным ключам для создания непрерывных сложных негативов. Сеть адаптивного к деградации HDR-отображения Degradation-Adaptive HDR Mapping использует плотную глобальную модуляцию каналов и разреженную локальную попиксельную модуляцию для восстановления HDR-выхода. Негативные примеры и моментный кодировщик применяются только во время обучения; для инференса требуются одно SDR-изображение и обученный контрольный файл.
Репозиторий следует структуре в стиле BasicSR и включает точки входа для обучения и оценки, YAML-файлы конфигурации, архитектуры моделей, загрузчики контрастных наборов данных, функции потерь и метрик, скрипты распределённого запуска, а также вспомогательные средства подготовки данных. Соответствие между статьёй и кодом определяет обёртку обучения, архитектуру DAHM, контрастный кодировщик, набор данных с ранжируемыми негативами, процедуру смешивания латентных представлений, поэтапную логику обучения и ключи контрольных точек.
Документированная программная среда использует Python 3.8 или новее, PyTorch с CUDA, torchvision, kornia, lmdb и OpenCV. Основные эксперименты используют HDRTV4K или HDRTVDM для обучения и оценки при известной деградации, а HDRTV1K — для оценки при неизвестной деградации. Наборы данных должны быть представлены в формате LMDB с метаданными имён и файлами ранжированных списков негативов по яркости и цветности. Вспомогательный скрипт может создавать символические ссылки на наборы данных и локальные файлы конфигурации, а также проверять наличие необходимых данных.
README содержит команды одно- и многокарточного обучения, стандартный график на 400 000 итераций, пути к контрольным точкам и команды полной проверки. Результаты оценки включают измерения PSNR, SSIM и Delta E ITP. Таблица результатов также сообщает HDR-VDP3. Репрезентативные заявленные результаты составляют 31.20 PSNR и 0.9213 SSIM на HDRTV4K при известных деградациях, а также 29.12 PSNR и 0.9412 SSIM на HDRTV1K при неизвестной деградации; в README отмечается, что точные значения зависят от подготовки набора данных, контрольной точки и среды оценки.
Некоторые исторические имена классов и файлов RealRep сохранены для совместимости с реестрами моделей и контрольными точками. Конфигурации абляций, журналы обучения, исходные материалы статьи, изображения, PDF-файлы, локальные наборы данных и результаты экспериментов не включены в публичный пакет.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.