【光照】UnityURP[光照贴图]GPU instancing在静态动态物体上的应用

氨姓粤脱既然每个像素是一个向量,我们又知道了高光谱图像的经典应用就是识别物质,那么一个很自然的问题就出现了:

如何判断两个像素是否属于同一种物质?

在 RGB 图像中,我们可能比较颜色是否接近。但在高光谱图像中,我们更关心的是:

两个光谱曲线的"形状"是否相似。

从此出发,就引出了一个非常经典的方法:光谱角映射(Spectral Angle Mapper,SAM)。

  1. 什么是 SAM ?#

SAM 起源于 1993 年的论文 The Spectral Image Processing System (SIPS) --- Interactive Visualization and Analysis of Imaging Spectrometer Data ,作为高光谱图像分析中一种经典的光谱相似性度量方法被提出。

它的核心思想非常直观:

不比较光谱的"大小",而比较光谱的"方向"。

换句话说:我们把每一个光谱向量看作高维空间中的一个点,那么两个像素之间的相似度,就可以用它们之间的"夹角"来表示。

实际上,你可以把它理解为高光谱成像领域的余弦相似度。

其逻辑并不复杂,下面就来具体展开:

  1. 光谱角:为什么是角度而不是距离?#

假设现在有两个像素:

它们可以看作是 n 维空间中的两个向量。

在几何上,这两个向量的夹角满足:

于是我们可以计算反余弦来得到夹角:

这个角度

就叫做:光谱角(Spectral Angle)

角度越小,说明这两个向量在高维空间中越接近,两个光谱曲线就越相似。

image.png

到这里,你应该会有这样的问题:比较两个光谱向量,为什么是用"角度"而不是"距离"?

我们知道,在机器学习的部分任务中,向量长度可能受模型缩放影响而大小不一,方向才能代表其语义,因此我们使用余弦相似度来消除长度的影响。

那么在光谱向量的关系中,为什么我们同样要使用余弦相似度而不是直接计算欧式距离呢?

实际上,这和高光谱图像的采集有关:在真实场景中,光谱强度会受到很多因素影响。如光照强度变化、阴影、传感器增益等。

这些因素会影响光谱的"整体幅值",但往往不会改变光谱曲线的"形状"。

举个简单的例子:

如果我们在阳光下和阴影下拍摄一座山:

同一座山,在阳光下光强整体更高,而阴影下光强整体则会更低。

image.png

但是,这座山在光谱曲线的"相对比例关系"基本保持一致。

因此,如果使用欧氏距离进行比较,则会因这类因素而让度量结果产生较大差异,但如果使用 SAM 计算光谱角来进行比较,那么它会认为这两个像素依然非常接近。

这就是 SAM 的核心优势:对光照强度变化具有一定鲁棒性。

到这里还没结束,通过计算光谱角,我们可以量化两个像素的光谱向量间的相似度。

但是在实际任务中,SAM 往往用来进行像素级的图像分类或检测,我们要如何根据光谱角正确识别物质并进行分类,才是关键所在。

这便涉及到 SAM 中的另一个关键概念:参考光谱(Reference Spectrum)。

  1. 参考光谱:同一物质的"参考答案"#

在实际应用中,SAM 常用于地物分类、材料识别、矿物匹配等分类或检测任务。

而在这些具体任务中,我们使用 SAM 进行识别,并不是让高光谱图像数据的像素间两两计算光谱角,而是让每个像素和每类物质的参考光谱逐一计算光谱角,选择夹角最小的一类作为结果。

道理不难理解,我们知道每种物质都有其固定的属性,比如石头是硬的,草是软的。

而在高光谱成像中,每种物质对不同波长的光的吸收和反射能力自然也只会稳定在某个固定区间内,而不可能产生过大波动。

这就为我们测量物质的参考光谱提供了依据,通过测量和建立参考光谱,我们便能得到分类的"标准答案"。

在个人任务中,想要得到参考光谱的最简单也是较可靠的方法就是使用标准光谱库,如业内较权威的 USGS 光谱库和 ASTM 光谱标准。这种方法无需标注,科学可靠,可直接应用于分类或匹配。

而如果是较小众的领域或者机密的数据,我们也有较符合直觉的方法来建立参考光谱,那就是对数据集中的某一类别的多个像素光谱求平均,得到该类别的代表光谱。

举个例子,假设高光谱图像中某一类植被在 5 个窄波段上的光谱强度如下(单位为反射率,0--1 范围):

像素编号 波段1 波段2 波段3 波段4 波段5

Pixel 1 0.12 0.35 0.50 0.60 0.55

Pixel 2 0.10 0.37 0.52 0.58 0.57

Pixel 3 0.11 0.36 0.51 0.59 0.56

求平均光谱时,对每个波段求所有像素的均值:

平均光谱

计算得到:

平均光谱

这个平均光谱就可以作为该类别的参考光谱,用于 SAM 计算时与未知像素进行光谱角匹配。

这种方法简单直观,同时也能在数据量足够的情况下有效抑制单个像素的噪声影响,提高分类或匹配的稳定性。

这样,我们就得到了使用 SAM 进行相关任务的完整流程,我们以高光谱图像分类任务为例来进行说明:

image.png

  1. SAM 的优缺点#

作为早期的经典方法,SAM 有其优势所在,但同样也存在可优化的空间,简单列举一下:

类别 内容

优点 物理意义明确、对光照变化具有鲁棒性、不需要复杂训练,计算简单。

缺点 对噪声敏感、 无法处理复杂混合像素问题、 属于像素级方法,不考虑空间信息。

其中,一个很明显的缺陷在于 SAM 并不会像卷积一样学习到图像的空间结构。

它将图像分割为一个个像素,类比到深度学习中,这种做法其实更类似于使用全连接学习图像的孤立形式。因此,SAM 也提供了明确的优化思路。

总之,SAM 在高光谱图像分析发展初期提供了简单可行的像素级分类与匹配方法,成为遥感、矿物识别和材料检测等领域的基准工具。

它的提出奠定了光谱相似性度量的基础思想,对后续复杂算法(如引入空间信息、深度学习方法)起到了启发和参考作用。