资源链接
摘要 (Abstract)
高动态范围/宽色域(HDR-WCG)技术正日益普及,对将标准动态范围(SDR)内容转换为HDR的需求不断增长。现有方法主要依赖固定的色调映射算子,难以处理真实世界SDR内容中普遍存在的各种外观和退化。为解决这一限制,我们提出了一个广义SDR到HDR转换框架,通过学习属性解耦表示来增强鲁棒性。
我们的核心方法是RealRep,它显式地解耦了亮度 (Luminance) 和 色度 (Chrominance) 分量,以捕获不同SDR分布下的内在内容变化。此外,我们设计了一种亮度/色度感知负例生成策略,有效建模SDR风格间的色调差异。基于这些属性级先验,我们引入了退化域感知受控映射网络 (DDACMNet),这是一个轻量级的两阶段框架,通过控制感知归一化机制执行自适应分层映射。DDACMNet通过退化条件特征动态调制映射过程,实现了对各种退化域的鲁棒适应。
核心方法与框架 (Methodology)
01 属性解耦与负例生成 (Attribute Disentanglement)
SDR图像在不同退化下表现出截然不同的亮度和色彩分布。传统方法往往学习纠缠的特征,导致泛化性差。
如图1(a)所示,RealRep 引入了对比多视图编码器,将亮度和色度显式分离。我们利用一种新颖的亮度/色度感知负例生成策略,构建对退化敏感的对比样本对,强制模型学习风格不变的内容表示和风格特异的属性表示。
图1(a): 传统纠缠框架与我们的属性解耦框架对比
02 退化域感知受控映射 (DDACMNet)
为了充分利用解耦的先验知识,我们设计了 DDACMNet。它包含两个关键阶段:
- 密集受控映射 (DCM): 处理全局色调映射,利用全局退化先验进行仿射变换。
- 稀疏受控映射 (SCM): 处理局部细节增强,利用空间变化的局部特征进行精细调节。
图2: DDACMNet 网络架构概览。包含多视图编码器、融合模块及受控映射网络。
特征空间分析 (Feature Space Analysis)
为什么 RealRep 更具鲁棒性?
通过 t-SNE 可视化(论文图6),我们可以清晰地看到 RealRep 在特征空间构建上的优势。
相比于其他方法(如 PromptIR)在未知退化下的特征分布混乱、重叠,RealRep 生成的特征簇紧凑且分离度高。这证明了我们的解耦学习策略成功地将不同退化类型的特征分离开来,使得模型在面对未见过的真实世界 SDR 风格时,能够准确地匹配到最接近的退化先验,从而实现稳健的转换。
实验结果 (Experiments)
定量性能对比 (Quantitative Comparison)
| 方法 (Methods) | 2390eetf.gm | 2446a | 2446c.gm | davinci | hc_gm | ocio2 | reinhard | youtube | Average |
|---|---|---|---|---|---|---|---|---|---|
| HDRTVNet | 28.97 / 0.90 | 23.73 / 0.85 | 26.05 / 0.86 | 25.50 / 0.88 | 26.91 / 0.86 | 26.46 / 0.87 | 23.23 / 0.87 | 25.31 / 0.87 | 25.77 / 0.8716 |
| LSNet | 33.23 / 0.94 | 31.18 / 0.91 | 28.05 / 0.87 | 25.63 / 0.90 | 27.34 / 0.87 | 29.56 / 0.89 | 25.67 / 0.90 | 27.01 / 0.90 | 28.46 / 0.8979 |
| RealRep (Ours) | 34.13 / 0.95 | 34.41 / 0.93 | 30.38 / 0.89 | 30.05 / 0.93 | 30.47 / 0.90 | 31.36 / 0.91 | 27.59 / 0.93 | 30.03 / 0.94 | 31.05 / 0.9219 |
注:表格展示了在 HDRTV4K 数据集上各方法的 PSNR / SSIM 结果。我们的方法在所有子集上均取得了最佳性能。
定性可视化 (Qualitative Results)
在面对未知退化(如真实世界的复杂光照和色调映射)时,RealRep 展现了卓越的稳定性。与 LSNet 和 ICTCPNet 等方法相比,我们的模型不仅消除了伪影,还更准确地恢复了高光细节和色彩饱和度,生成了视觉上更加自然、生动的 HDR 图像。