Abstract
从相机到屏幕，研究人员已开发出一套成熟的系统，用于捕捉和复现人眼的色彩感知体验。本研究旨在对这一流程进行升级，将传统的 RGB（红绿蓝）色彩复现转变为多光谱图像（MSI）色彩复现。尽管多光谱图像在色彩匹配方面具有显著优势，但研究发现，要充分利用更多光谱信息实现色彩恒常性并非易事。因此，我们提出了一套正则化色彩复现系统，该系统包含两个核心部分：一是基于光谱先验引导的优化策略，用于建立传感器优化的 RGB 投影以实现色彩匹配；二是基于学习的色适应模型，用于实现色彩恒常性。具体而言，我们在传感器光谱灵敏度的引导下，通过端到端优化来定义 RGB 投影。随后，我们设计了一个色适应神经网络，该网络分别实现两项功能：估算场景光照度，以及生成光照度自适应矩阵以完成自动白平衡和动态色彩校正。综合实验表明，与其他备选方案相比，我们的系统表现更具优越性。
Introduction
- 图 1 我们提出了一种用于多光谱图像（MSI）的色彩还原系统。该系统以原始多光谱信号作为输入，生成该信号的标准色彩表示，从而通过任意显示设备还原对应场景的色彩体验。在此，我们展示了一个仅含少量色彩的挑战性场景。现有 RGB 相机有限的光谱分辨率会导致色彩还原不准确，而我们的多光谱图像色彩还原系统能够实现真实还原。文中还呈现了通过 dE2000（ΔE）评估得出的色差值。所有图像均经过伽马校正，并以 sRGB 格式渲染，以便可视化呈现。
色彩复现的目标是精准捕捉并还原色彩，使其与人类眼睛感知到的原始色彩高度相似。对精准色彩复现的追求，在多个应用领域中都具有重要意义，例如印刷、数字成像、视频制作和电影行业。在这些领域中，保持色彩保真度是实现有效视觉传达的关键 31,64,69。
除了匹配人眼的色敏特性，精准复现色彩还需模拟人类通过色适应维持色彩恒常性的能力。
从显示端来看，为确保不同媒介间色彩复现的一致性，具有预定义白点（如 D65 标准光源）的设备无关色空间（如 CIE XYZ 色空间）与色域（如 sRGB 色域）已实现标准化，用于复现人类的色彩感知。
但从成像端来看，由于光照环境存在差异，将 RAW 格式信号转换为标准色彩表示面临诸多挑战。此外，成像设备本身（通常是 RGB 相机）的光谱分辨率有限，导致成像过程中会损失大量光谱信息，进而在复杂场景下产生色彩失真的结果，如图 1 所示。
本研究初步探索如何通过更高的光谱分辨率（即多光谱图像，MSI）实现精准色彩复现。与仅依赖三个光谱通道的传统 RGB 相机不同，多光谱相机能够捕捉更广泛的光谱数据，从而获取更精准、更详细的光谱信息 17,45。为了展示多光谱图像在色彩表示方面的优势，我们以色彩匹配为例：在标准光源下，构建线性投影矩阵，将多光谱图像 RAW 信号或 RGB 图像 RAW 信号投影到标准 CIE XYZ 色空间。图 2 所示结果表明，更高的光谱分辨率在精准匹配低维色空间方面具有明显优势。但另一方面，即便通过提高光谱分辨率，要实现色彩恒常性也并非易事 ------ 即便为每幅多光谱图像估算出场景自适应投影矩阵，这种直接投影的方式仍会导致色彩饱和度不足。
- 图 2 将原始多光谱信号或原始 RGB 信号的线性变换矩阵拟合到 CIE XYZ 空间，并在 CIE 1976 UCS 色度图中对投影后的色卡色点进行可视化呈现。色点越接近黑色参考点，效果越好。
因此，多光谱图像（MSI）色彩复现系统的核心，在于确定一种最优且可靠的转换方式 ------ 将多光谱信号映射到标准色空间，同时确保精准的色彩匹配与色彩恒常性。为实现这一目标，我们设计了一套正则化色彩处理流程。该流程包含两部分核心内容：一是基于光谱先验引导的优化策略，用于建立传感器优化的 RGB 投影以实现色彩匹配；二是基于学习的色适应模型，用于实现色彩恒常性。除了拟合标准 CIE XYZ 色空间外，我们还对色彩匹配原理进行了推广：在传感器光谱灵敏度的引导下，通过对色彩处理流程进行端到端优化，确定了一个适用于计算色彩恒常性的 RGB 子空间。
在确定的子空间中，我们通过引入色适应神经网络来实现色彩恒常性。该网络可完成两项任务：一是估算场景光照度，二是生成光照度自适应色彩校正矩阵，分别用于自动白平衡和动态色彩校正。
然而，获取训练这种基于学习的模型所需的多光谱数据，过程可能既耗时又昂贵。为解决这一问题，我们提出了一种多光谱数据增强策略，该策略以 "色彩 - 反射率检索字典" 为核心，能够从海量已有的高质量 sRGB 图像中生成高光谱反射率数据。因此，我们可以在大规模合成数据集上对模型进行预训练，进而提升模型的泛化能力，并增强其整体鲁棒性。
相机旨在模拟人类视觉系统的感知过程。在简化的朗伯体成像模型中，相机捕捉到的原始响应 I(x)\mathbf{I}(x)I(x) 可表示为：
I(x)=∫λe(λ)r(λ;x)sc(λ)dλ(1) \mathbf{I}(x) = \int_{\lambda} e(\lambda)r(\lambda; x)s_c(\lambda)d\lambda \tag{1}I(x)=∫λe(λ)r(λ;x)sc(λ)dλ(1)
在该公式中，像素位置 xxx 处的原始响应，是传感器光谱灵敏度 sc(λ)s_c(\lambda)sc(λ),物体光谱反射率 r(λ;x)r(\lambda; x)r(λ;x) 与场景光源光谱功率分布（SPD）e(λ)e(\lambda)e(λ) 三者积分的结果。积分过程针对每个光谱通道 ccc，在波长 λ\lambdaλ 的范围内进行。
该公式假设场景光源在不同像素位置上具有全局均匀性，并且我们将场景光源的传感器响应（称为场景光照度向量）定义为 L=∫λe(λ)sc(λ)dλ\mathbf{L} = \int_{\lambda} e(\lambda)s_c(\lambda)d\lambdaL=∫λe(λ)sc(λ)dλ。
色彩还原的核心目标，是将传感器特定信号映射为一种标准化的色彩表示，该表示需同时具备设备无关性与光照无关性。前者意味着采用类人眼的三通道 RGB 空间，即 CIE XYZ 空间，该空间源于色匹配实验 33, 66。后者则需要通过计算式色彩恒常性处理，将色彩校正为与显示设备参考光源（如 6504K 日光，即 D65 光源）下捕捉的色彩一致的效果。由于相机的 RAW 信号具有设备依赖性。实际应用中，制造商需在标准光源下，针对 ColorChecker（色卡）颜色校准出一个 3×3 色彩校正矩阵（如图 2 (a) 所示）。该固定色彩校正矩阵用于修正误差，最终在 CIE XYZ 空间中得到设备无关信号，以实现色彩匹配。随后，色彩处理流程中的自动白平衡算法，会为每个场景确定冯・克里茨（von Kries）形式对角矩阵的数值，得到光照无关信号，从而实现色彩恒常性。
IRGB=IRAW⋅MCC⋅MWB(2) \mathbf{I}{RGB} = \mathbf{I}{RAW} \cdot \mathbf{M}{CC} \cdot \mathbf{M}{WB} \tag{2} IRGB=IRAW⋅MCC⋅MWB(2)
- IRAW∈RH×W×3\mathbf{I}_{RAW} \in \mathbb{R}^{H \times W \times 3}IRAW∈RH×W×3 表示 RAW 图
- MCCM_{CC}MCC 表示色彩转换矩阵
- MWBM_{WB}MWB 表示白平衡系数矩阵
- IRGB∈RH×W×3\mathbf{I}_{RGB} \in \mathbb{R}^{H \times W \times 3}IRGB∈RH×W×3 表示颜色校正后的 RGB 图
在白平衡场景下（其目标是校正消色差颜色，即 R=G=B 的情况），色彩恒常性已得到广泛研究 2, 4, 9, 12, 13, 18, 19, 25, 26, 36, 40, 43, 48。统计方法会对不同物体的物体反射率做出假设，当这些假设不成立时，方法会产生较差的结果 13, 25, 44, 61。基于色域的方法也已被提出 26, 30。近年来，基于学习的模型通过利用带标注的数据对，展现出了良好的性能 1, 7, 8, 8, 10, 22, 37, 46, 50, 56, 57, 67, 71, 72。目前，针对消色差颜色之外的色彩恒常性研究也日益增多 15,16,23，具体方式为再乘以一个 3×3 矩阵。尽管 RGB 相机的色彩恒常性研究已取得显著进展，但在多光谱图像（MSIs）场景下的相关研究仍较为有限 14, 41, 42。Chakrabarti 等人提出利用空谱统计信息，该思路与 RGB 色彩恒常性方法类似 14。Khan 等人则将统计方法扩展到了多光谱通道 41。Koskinen 等人专注于使用单像素多光谱传感器进行光照估计 42。其他研究还探索了多光谱图像中光照与反射率的分解 47, 73。Glatt 等人还发布了一个用移动设备采集的多光谱图像数据集，用于光照估计 32。上述方法仅解决了色彩再现任务的一部分（主要是色彩恒常性），与之不同的是，本文提出了一个完整的系统，可同时实现色彩匹配与色彩恒常性。
Multi-Spectral Image Color Reproduction
Regularized Color Pipeline
遵循标准 RGB 色彩再现的公式推导，多光谱图像的色彩再现任务可表述为：
IRGB=IMSI⋅T(3) \mathbf{I}{RGB} = \mathbf{I}{MSI} \cdot \mathbf{T} \tag{3} IRGB=IMSI⋅T(3)
其中，IMSI∈RH×W×C\boldsymbol{I}{\text{MSI}} \in \mathbb{R}^{H \times W \times C}IMSI∈RH×W×C 表示多光谱传感器的原始响应（RAW response），C 代表光谱通道数；IRGB∈RH×W×3\boldsymbol{I}{\text{RGB}} \in \mathbb{R}^{H \times W \times 3}IRGB∈RH×W×3 代表目标 RGB 图像；T\boldsymbol{T}T 则是一个 C×3C \times 3C×3 维矩阵。
- 图 3 本文提出的色彩还原系统总览如下：对于多光谱相机拍摄的场景，我们旨在构建从原始传感器空间到目标 RGB 空间的最优且可靠转换方法，确保转换后的色彩既具备设备无关性，也具备光照无关性。我们的正则化流程通过三个关键阶段完成这一复杂转换，分别是 RGB 子空间投影、白平衡调整与色彩校正。这三个阶段分别通过 RGB 投影矩阵 TRGB\boldsymbol{T}{\text{RGB}}TRGB、对角白平衡矩阵 D\boldsymbol{D}D 和色彩校正矩阵 ML^\boldsymbol{M}{\hat{L}}ML^ 实现。为实现场景特异性色适应，我们设计了一个由卷积神经网络（CNN）和多层感知器（MLP）组成的神经网络，用于从原始多光谱信号中估计光照向量与残差色彩校正矩阵。估计得到的光照向量会进一步投影到 RGB 子空间以实现自动白平衡，残差色彩校正矩阵则会用于动态色彩校正。所有图像均经过伽马校正，并以 sRGB 格式渲染以用于可视化呈现。
与标准 RGB 色彩流程不同，多光谱图像（MSI）的引入给系统设计带来了一个根本性挑战：我们无法在多通道空间中定义 "白色"。"白色"（R=G=B）及各类色彩仅在三通道空间（通常为 CIE XYZ 空间）中具有实际意义。为解决这一问题并实现稳健的色彩再现，我们为多光谱相机设计了一套经过精心正则化的色彩流程。如图 3 所示，该色彩流程通过三个关键阶段完成复杂的变换 T\boldsymbol{T}T：RGB 子空间投影、白平衡调整与色彩校正。首先，我们利用子空间投影矩阵 TRGB∈RC×3\boldsymbol{T}{\text{RGB}} \in \mathbb{R}^{C \times 3}TRGB∈RC×3，将多光谱原始响应 IMSI\boldsymbol{I}{\text{MSI}}IMSI 投影到三通道 RGB 空间。我们假设该 RGB 子空间满足冯・克里兹（von Kries）假说。由此，我们基于从估计场景光照向量L^∈RC×1\hat{\boldsymbol{L}} \in \mathbb{R}^{C \times 1}L^∈RC×1中获取的白平衡系数W∈R3×1\boldsymbol{W} \in \mathbb{R}^{3 \times 1}W∈R3×1，推导得到一个用于白平衡调整的对角矩阵D∈R3×3\boldsymbol{D} \in \mathbb{R}^{3 \times 3}D∈R3×3。最后，我们通过应用色彩校正矩阵ML^\boldsymbol{M}_{\hat{L}}ML^，将经过白平衡调整的图像进一步转换到目标 RGB 空间。综上，我们的色彩流程可表述为：
IRGB=IMSI⋅TRGB⋅D⋅ML^D=diag(W)W=L^⋅TRGB(4) \boldsymbol{I}{\text{RGB}} = \boldsymbol{I}{\text{MSI}} \cdot \boldsymbol{T}{\text{RGB}} \cdot \boldsymbol{D} \cdot \boldsymbol{M}{\hat{L}} \\ \boldsymbol{D} = \text{diag}(\boldsymbol{W})\\ \boldsymbol{W} = \hat{\boldsymbol{L}} \cdot \boldsymbol{T}_{\text{RGB}} \tag{4} IRGB=IMSI⋅TRGB⋅D⋅ML^D=diag(W)W=L^⋅TRGB(4)
其中，diag(⋅)\text{diag}(\cdot)diag(⋅) 表示由一个 n×1n \times 1n×1 维向量生成 n×nn \times nn×n 维对角矩阵的运算。
通过该色彩流程，我们遵循分而治之（divide-and-conquer）范式的核心思想，对变换矩阵 T\boldsymbol{T}T 的构成进行正则化处理。RGB 子空间投影矩阵TRGB\boldsymbol{T}_{\text{RGB}}TRGB的主要目标，是确定一个适宜的 RGB 子空间以辅助实现计算色彩恒常性，而非匹配人眼的色彩感知特性。需注意，该投影过程应与场景无关（scene-agnostic），即它仅捕捉传感器自身的特性，而非针对特定场景设计。因此，我们从变换矩阵 T\boldsymbol{T}T 中分离出光照向量 L\boldsymbol{L}L。该向量被视为场景特异性变量（scene-specific variable），并在后续色彩恒常性变换的确定中发挥关键作用。最后，我们通过引入两个组件对完整的 3×3 色彩校正操作进行拆分：一个是由白平衡系数 W\boldsymbol{W}W 推导得到的对角矩阵 D\boldsymbol{D}D，另一个是经过正则化处理（每行元素之和为 1）的色彩校正矩阵 M\boldsymbol{M}M。前者用于校正无彩色（achromatic colors），后者则通过处理剩余的有彩色（chromatic colors），对校正过程起到补充作用。
Spectral Prior-guided Optimization
- 图 4 我们系统中的光谱先验引导优化策略如下：在相机光谱灵敏度的引导下，我们利用已知的反射率数据和光源，构建多光谱输入X\boldsymbol{X}X、场景光照向量L\boldsymbol{L}L及对应参考值Y\boldsymbol{Y}Y的配对数据。我们通过构建优化问题，求解得到传感器优化的投影矩阵TRGB\boldsymbol{T}_{\text{RGB}}TRGB以及与光照无关的色彩校正矩阵M\boldsymbol{M}M估计值。
基于上述色彩流程的公式推导，我们提出一种光谱先验引导的优化策略，用于确定适用于计算色彩恒常性的 RGB 子空间。如图 4 所示，该优化策略旨在求解子空间投影矩阵TRGB\boldsymbol{T}_{\text{RGB}}TRGB，以及与光照无关的色彩校正矩阵M\boldsymbol{M}M估计值。为实现稳健估计，我们从各类已知反射率数据库 R\mathcal{R}R 和已知光源 E\mathcal{E}E中，构建多光谱输入与参考 RGB 的配对数据。
Xi=∫λei(λ)ri(λ)sc(λ)dλYi=∫λeD65(λ)ri(λ)qc(λ)dλ(5)\boldsymbol{X}i = \int{\lambda} e_i(\lambda) r_i(\lambda) s_c(\lambda) d\lambda \quad \boldsymbol{Y}i = \int{\lambda} e_{\text{D65}}(\lambda) r_i(\lambda) q_c(\lambda) d\lambda \tag{5} Xi=∫λei(λ)ri(λ)sc(λ)dλYi=∫λeD65(λ)ri(λ)qc(λ)dλ(5)
其中 ri∈Rr_i \in \mathcal{R}ri∈R，ei∈Ee_i \in \mathcal{E}ei∈E，i=1,2,3,...,Ni = 1, 2, 3, ..., Ni=1,2,3,...,N。
其中，eD65(λ)e_{\text{D65}}(\lambda)eD65(λ) 表示标准照明体 D65 的光谱功率分布（SPD），scs_csc 为多光谱相机的光谱灵敏度，qcq_cqc 是 CIE 1931 色匹配函数（CMF）；rir_iri 从反射率数据库 R\mathcal{R}R 中随机采样得到，eie_iei 从光源集合 E\mathcal{E}E 中随机采样得到，NNN 为数据对的总数。此外，对应的真实光照向量可通过 Li=∫λei(λ)sc(λ)dλL_i = \int_{\lambda} e_i(\lambda) s_c(\lambda) d\lambdaLi=∫λei(λ)sc(λ)dλ 计算得出。在此，我们将式（4）中定义的色彩流程记为 fTRGB,Mf_{\boldsymbol{T}_{\text{RGB}}, \boldsymbol{M}}fTRGB,M。那么，光谱先验引导的优化问题可表述为：
minTRGB,M1N∑i=1NLΔE(fTRGB,M(Xi,Li),Yi)(6) \min_{\boldsymbol{T}{\text{RGB}}, \boldsymbol{M}} \frac{1}{N} \sum{i=1}^{N} L_{\Delta E}\left(f_{\boldsymbol{T}_{\text{RGB}}, \boldsymbol{M}}(\boldsymbol{X}_i, L_i), \boldsymbol{Y}_i\right) \tag{6} TRGB,MminN1i=1∑NLΔE(fTRGB,M(Xi,Li),Yi)(6)
其中，LΔEL_{\Delta E}LΔE 是用于衡量色差值的距离函数，我们采用了公认的 dE2000 色差公式 51。通过这一优化过程，我们得到最优的 TRGB\boldsymbol{T}_{\text{RGB}}TRGB 以及与光照无关的 M\boldsymbol{M}M 估计值，从而确定适用于色彩恒常性的 RGB 子空间。正如后文图 6 所示，相较于标准 RGB 流程中常用的 CIE XYZ 空间选择，我们通过这种端到端（end-to-end）优化过程，进一步确定了一个更优的、针对传感器优化的子空间。
- 图 6 我们的色彩流程及其变体包括三类：（A）直接投影、（B）CIE XYZ 色彩校正、（C）仅对角色彩校正。其中，T^\hat{\boldsymbol{T}}T^、TXYZ\boldsymbol{T}{\text{XYZ}}TXYZ、TRGB\boldsymbol{T}{\text{RGB}}TRGB 均表示从多光谱图像（MSI）到三通道空间的投影矩阵；L^\hat{\boldsymbol{L}}L^ 为场景光照向量；D\boldsymbol{D}D 为白平衡矩阵；ML^\boldsymbol{M}_{\hat{L}}ML^ 为色彩校正矩阵。
Learning-based Chromatic Adaptation
在利用TRGB\boldsymbol{T}{\text{RGB}}TRGB确定了适用于计算色彩恒常性的传感器优化 RGB 子空间后，我们接下来引入一种基于学习的 chromatic adaptation 神经网络，用于将该子空间中的 RGB 色彩校正至目标 RGB 空间。如图 3 所示，该 chromatic adaptation 神经网络包含两个主要组件：卷积神经网络（CNN）和多层感知机（MLP）网络。我们从多光谱图像IMSI\boldsymbol{I}{\text{MSI}}IMSI中估计场景光照向量L^\hat{\boldsymbol{L}}L^，并根据估计的L^\hat{\boldsymbol{L}}L^预测色彩校正矩阵M\boldsymbol{M}M的光照自适应残差。为实现白平衡，我们利用TRGB\boldsymbol{T}{\text{RGB}}TRGB将估计的光照向量L^\hat{\boldsymbol{L}}L^投影到 RGB 子空间，得到白平衡系数W\boldsymbol{W}W。这些系数用于构建对角矩阵D\boldsymbol{D}D，以实现自动白平衡。随后，将预测的色彩校正矩阵光照自适应残差与光照无关估计值相结合，得到用于动态色彩校正的最终色彩校正矩阵ML^\boldsymbol{M}{\hat{L}}ML^。对于 CNN，我们选择 YOLOv4 11 中的 CSPDNet 架构，因其结构简洁；当然，更先进的架构也同样适用。
色适应网络的训练包含两个损失函数：用于光照估计的角度误差（AE）和用于光照自适应色彩校正矩阵的均方根误差（RMSE）。估计光照向量L^\hat{\boldsymbol{L}}L^与真实光照向量L\boldsymbol{L}L之间的角度误差（AE）定义为：
LAE(L^,L)=cos−1 (L^TL∥L^∥∥L∥)(7) \mathcal{L}_{\text{AE}}(\hat{\boldsymbol{L}}, \boldsymbol{L}) = \cos^{-1}\!\left( \frac{\hat{\boldsymbol{L}}^T \boldsymbol{L}}{\|\hat{\boldsymbol{L}}\| \|\boldsymbol{L}\|} \right) \tag{7} LAE(L^,L)=cos−1(∥L^∥∥L∥L^TL)(7)
对于每个光源，我们通过固定式（6）中的 TRGB\boldsymbol{T}{\text{RGB}}TRGB 来优化对应的色彩校正矩阵 MGT\boldsymbol{M}{\text{GT}}MGT。因此，动态色彩校正的损失函数可表述为：
LRMSE(ML^,ML)=∥ML^−ML∥(8) \mathcal{L}{\text{RMSE}}(\boldsymbol{M}{\hat{L}}, \boldsymbol{M}L) = \sqrt{\|\boldsymbol{M}{\hat{L}} - \boldsymbol{M}_L\|} \tag{8} LRMSE(ML^,ML)=∥ML^−ML∥ (8)
为便于色适应网络的训练，我们提出了一种数据增强策略：利用一个 "颜色 - 反射率检索字典"，从易于获取的 sRGB 图像中生成高光谱反射率数据，进而用于合成丰富的多光谱输入与对应标准 RGB 表示的训练对。如图 5 所示，我们构建该颜色 - 反射率字典的方式为：将单像素反射率数据投影至 sRGB 色域，并对映射到相同 RGB 值的反射率样本取平均值。
- 图 5 多光谱数据增强策略如下：上方：我们通过将反射率数据投影至 sRGB 色域，构建 sRGB 值与对应高光谱反射率之间的映射字典。下方：我们对一系列高质量 sRGB 图像进行查询，以获取全面的高光谱反射率数据集。借助该数据集，我们通过图像形成模型合成多光谱输入（MSI）和参考图像。
我们通过在高质量公开 sRGB 数据集（如 DIV2K 3、MultiIllum 55 等）中逐像素检索该字典，构建了一个大规模合成多光谱反射率数据集。利用这个合成反射率数据集，我们可以通过与式（5）类似的图像形成过程，合成多光谱图像 IMSI\boldsymbol{I}{\text{MSI}}IMSI、光照向量 L\boldsymbol{L}L 和参考 RGB 图像 IRGB\boldsymbol{I}{\text{RGB}}IRGB 的训练对。在此，我们做出一个重要假设：这些 sRGB 图像在参考照明体 D65 下已达到良好的白平衡状态。借助这些合成训练对，我们对色适应网络进行预训练，以提升其稳健性和泛化能力。随后，我们使用真实反射率数据集对网络进行微调，进一步提高其在真实场景中的性能。