SpectralDiff论文阅读笔记

高光谱图像分类是遥感领域的一个重要问题,在地球科学中有着广泛的应用。近年来,人们提出了大量基于深度学习的HSI分类方法。然而,现有方法处理高维、高冗余和复杂数据的能力有限,这使得捕获数据的光谱空间分布和样本之间的关系具有挑战性。 为了解决这一问题,我们提出了一种基于扩散模型的HSI分类生成框架(SpectralDiff) ,该框架通过迭代去噪和显式构建数据生成过程,有效地挖掘高维和高冗余数据的分布信息,从而更好地反映样本之间的关系。

该框架由光谱空间扩散模块和基于注意力的分类模块组成。
光谱-空间扩散模块采用正向和反向光谱-空间扩散过程,实现样本关系的自适应构建,无需预先了解图形结构或邻域信息。 它捕获HSI中目标的光谱空间分布和上下文信息,并在反向扩散过程中挖掘无监督光谱空间扩散特征。

最后,将这些特征输入到基于注意力的分类模块中,用于每像素分类。 扩散特征可以通过重建分布促进跨样本感知,从而提高分类性能。

代码: https://github.com/chenning0115/SpectralDiff


图1 整体框架

图2 光谱-空间去噪网络的结构。(a) 通过前向扩散处理来处理原始HSI数据,以获得添加了高斯噪声的图像数据。随后,数据通过编码器-解码器结构,最终输出为与原始HSI数据形状相同的张量。该输出表示网络对添加的初始噪声的预测。(b) 三维下采样块的详细信息。(c) 三维上采样块的详细信息。

在本研究中,提出了一种从生成角度 构建HSI数据的光谱-空间分布 并捕捉光谱-空间特征的新方法。所提出的方法为光谱-空间扩散过程提供了一个独特的视角,并在建立样本之间的关系方面发挥了关键作用。利用所提出的SpectralDiff,可以在没有图结构或邻域信息的先验知识的情况下自适应地构建样本关系。该方法捕捉HSI中对象的数据分布和上下文信息,实现跨样本感知。实验结果表明,该方法优于现有技术。

展望未来,一个令人兴奋的探索途径在于研究扩散模型在高光谱成像背景下的超分布泛化和检测潜力,建立在生成范式的基础上。预计扩散模型将继续推进这些领域,通过扩散过程捕捉潜在的数据流形,从而学习将其推广到训练分布之外的未知例子。此外,扩散模型在识别分布外样本方面表现出强大的检测性能。展望未来,扩散模型有很大的潜力进一步为分布外泛化和检测领域做出贡献。随着进一步的研究,利用扩散模型的力量分析复杂和高维高光谱数据的发展有望继续,为未来在不同领域的应用带来令人兴奋的机会。

相关推荐
aloha_7891 小时前
从零记录搭建一个干净的mybatis环境
java·笔记·spring·spring cloud·maven·mybatis·springboot
dsywws2 小时前
Linux学习笔记之vim入门
linux·笔记·学习
A-超5 小时前
vue3展示pag格式动态图
笔记
u0101526585 小时前
STM32F103C8T6学习笔记2--LED流水灯与蜂鸣器
笔记·stm32·学习
weixin_518285055 小时前
深度学习笔记10-多分类
人工智能·笔记·深度学习
丘狸尾5 小时前
ubuntu【桌面】 配置NAT模式固定IP
笔记
王俊山IT6 小时前
C++学习笔记----10、模块、头文件及各种主题(二)---- 预处理指令
开发语言·c++·笔记·学习
慕卿扬6 小时前
基于python的机器学习(二)—— 使用Scikit-learn库
笔记·python·学习·机器学习·scikit-learn
齐 飞8 小时前
MongoDB笔记02-MongoDB基本常用命令
前端·数据库·笔记·后端·mongodb
flying robot8 小时前
Go结构体(struct)
笔记