高光谱拼接算法(一)扫推式成像和航带拼接算法

新分类,不再只说纯理论了,我同步维护一个 github 仓库,也方便自己跑跑代码,有兴趣可以关注一下。

1. 扫推式成像 (Push broom Imaging)

在之前的 光谱融合中提到过,现有技术很难一次获取兼顾高光谱分辨率和高空间分辨率的图像。

概括来说可以理解为相机里的二维传感器难以完整采集三维数据,用来存储光谱信息就要丢失空间信息,反之亦然。

因此,为了获取兼顾二者的图像,便衍生了多种成像方式,其中,扫推式成像是目前在空间分辨率、光谱分辨率与采集效率之间最均衡、最主流的一种方案。

其逻辑很简单:

一次只拍"一条线",但这条线里的每个像素,都带有完整光谱信息,最后随着设备不断前进,把一条条"光谱线"拼成完整三维数据立方体。

图片来源

此外,在前沿领域,也在研究 快照式成像:一种尝试利用压缩和编码技术,从根本解决高光谱图像获取问题的研究方向。

2.航带拼接获取高光谱图像

上面提到的,扫推式成像需要设备不断移动,早期搭载高光谱设备的是卫星或者科研飞机。但现在最常见的是无人机,因为它大幅降低了高光谱门槛,得益于其成本低,更灵活,这也是多数相关企业的选择。

此外,还有传送平台,显微扫描平台等很多选择,其关键就是产生相对运行实现"扫推"。

以无人机为例,只飞一次,扫描得到一条数据,我们就称之为单航带数据

这种数据前后一致性好、无需拼接、几何误差小,但覆盖范围有限

因此,当目标区域很大,整片农田、整座城市时,我们就会让一台无人机平行来回飞,或者多台无人机并行扫描不同区域。

现在,每一次扫描结束,都会得到一组单航带数据,我们把多个航带拼起来,就可以获得兼具光谱分辨率和空间分辨率的图像。

图片来源

但这种拼接不是直接让矩阵连接在一起那么简单,这其中涉及大量细节。

3. 拼接中的对齐问题

首先,在获取多航带数据过程中,航带之间通常不会完全贴边,而是会故意保留一定重叠区域,用于后续的配准、校正与拼接。

而理想情况下,最终得到的高光谱图像应描述的是:

同一时间、同一观测条件下的一片连续区域。

但由于扫推式成像依赖平台运动逐线采集,不同航带往往是在不同时间、不同姿态、不同光照条件下获得的,因此在拼接过程中需要解决多个层面的对齐问题。

3.1 几何对齐(Geometric Alignment)

由于飞行高度、平台姿态、速度变化以及 GPS / IMU 误差的存在,不同航带之间可能出现平移、旋转、拉伸、透视形变等几何失配问题。

图片来源

3.2 辐射对齐(Radiometric Alignment)

不同航带往往并非在完全一致的观测条件下采集 ,比如第一条航带在上午 10 点采集,第二条采集完已经 10:20 了。

这就会导致太阳高度角变化、云层遮挡、大气条件变化、曝光参数变化等等情况,导致同一目标在不同航带中的整体亮度存在差异。

因此,即使空间位置已经对齐,拼接后仍可能出现明显亮暗接缝。

图片来源

3.3 光谱对齐(Spectral Alignment)

相比普通图像,高光谱数据更重要的是每个像素对应的完整光谱曲线。

但由于传感器 响应漂移、观测角变化或跨航带成像条件差异,不同航带中同一目标的光谱曲线可能发生波段偏移、光谱形状变化、反射峰位置漂移等问题。

这会进一步影响后续的地物分类、光谱匹配等下游任务。

因此,高光谱拼接不仅要求空间连续,还要求跨航带光谱保持物理一致性。

图片来源

4. 高光谱拼接算法(Hyperspectral Image Stitching/Mosaicking)

最终,高光谱拼接的结果直接影响整个高光谱立方体是否可信

很多后续高光谱算法, 默认都假设输入数据已经是"空间连续且光谱一致"的。

而这个前提,正是拼接算法负责建立的,其目标正是:

为后续分类、检测、反演等下游任务,构建空间连续、辐射统一、光谱一致的高质量高光谱数据立方体。

我们下载的很多公开数据集,包括 Indian Pines、Pavia University、Salinas 等都已经进行了这些甚至更复杂的处理。

而由于其任务属性,专门用于拼接算法的公开数据集较少,而且十分碎片化,可以说基本没有统一的 benchmark,但其涉及的领域、相关方法和模型又十分丰富。

因此,可以说是一个说不上人满为患,但又绝对不算小众的研究方向,其实难点在于数据获取本身以及"拼接没有标准答案"的问题上。

这个系列应该不会太长,会在之前的 DL 和 HSI 的基础上快速切入一些比较新的模型方法,深度学习进阶那个系列也会继续更。

相关推荐
malog_4 小时前
大语言模型后训练全解析
人工智能·深度学习·机器学习·ai·语言模型
枫叶林FYL5 小时前
【强化学习】3 双系统持续强化学习:快速迁移与元知识整合架构手册
人工智能·机器学习·架构
:mnong6 小时前
SHAP 自动解释成本构成分析报告
机器学习·shap
一切皆是因缘际会7 小时前
本源投影内生智能:从概率拟合到硅基生命的底层重构
人工智能·深度学习·机器学习·ai·重构
爱学习的徐徐8 小时前
监督学习核心算法:逻辑回归(Logistic Regression)
人工智能·机器学习·逻辑回归
人工智能培训9 小时前
中国人工智能培训网—AI系列录播课
大数据·人工智能·机器学习·计算机视觉·知识图谱
nebula-AI10 小时前
人工智能导论:模型与算法(未来发展与趋势)
人工智能·神经网络·算法·机器学习·量子计算·automl·类脑计算
忆~遂愿10 小时前
从文字应答到具象共情:Agent 交互的底层革新
人工智能·深度学习·目标检测·microsoft·机器学习·ar·交互
Zxc_11 小时前
逻辑回归:从Sigmoid到牛顿法,手写一个完整的概率分类器
机器学习