SpectralDiff论文阅读笔记

高光谱图像分类是遥感领域的一个重要问题,在地球科学中有着广泛的应用。近年来,人们提出了大量基于深度学习的HSI分类方法。然而,现有方法处理高维、高冗余和复杂数据的能力有限,这使得捕获数据的光谱空间分布和样本之间的关系具有挑战性。 为了解决这一问题,我们提出了一种基于扩散模型的HSI分类生成框架(SpectralDiff) ,该框架通过迭代去噪和显式构建数据生成过程,有效地挖掘高维和高冗余数据的分布信息,从而更好地反映样本之间的关系。

该框架由光谱空间扩散模块和基于注意力的分类模块组成。
光谱-空间扩散模块采用正向和反向光谱-空间扩散过程,实现样本关系的自适应构建,无需预先了解图形结构或邻域信息。 它捕获HSI中目标的光谱空间分布和上下文信息,并在反向扩散过程中挖掘无监督光谱空间扩散特征。

最后,将这些特征输入到基于注意力的分类模块中,用于每像素分类。 扩散特征可以通过重建分布促进跨样本感知,从而提高分类性能。

代码: https://github.com/chenning0115/SpectralDiff


图1 整体框架

图2 光谱-空间去噪网络的结构。(a) 通过前向扩散处理来处理原始HSI数据,以获得添加了高斯噪声的图像数据。随后,数据通过编码器-解码器结构,最终输出为与原始HSI数据形状相同的张量。该输出表示网络对添加的初始噪声的预测。(b) 三维下采样块的详细信息。(c) 三维上采样块的详细信息。

在本研究中,提出了一种从生成角度 构建HSI数据的光谱-空间分布 并捕捉光谱-空间特征的新方法。所提出的方法为光谱-空间扩散过程提供了一个独特的视角,并在建立样本之间的关系方面发挥了关键作用。利用所提出的SpectralDiff,可以在没有图结构或邻域信息的先验知识的情况下自适应地构建样本关系。该方法捕捉HSI中对象的数据分布和上下文信息,实现跨样本感知。实验结果表明,该方法优于现有技术。

展望未来,一个令人兴奋的探索途径在于研究扩散模型在高光谱成像背景下的超分布泛化和检测潜力,建立在生成范式的基础上。预计扩散模型将继续推进这些领域,通过扩散过程捕捉潜在的数据流形,从而学习将其推广到训练分布之外的未知例子。此外,扩散模型在识别分布外样本方面表现出强大的检测性能。展望未来,扩散模型有很大的潜力进一步为分布外泛化和检测领域做出贡献。随着进一步的研究,利用扩散模型的力量分析复杂和高维高光谱数据的发展有望继续,为未来在不同领域的应用带来令人兴奋的机会。

相关推荐
美式小田1 小时前
单片机学习笔记 9. 8×8LED点阵屏
笔记·单片机·嵌入式硬件·学习
猫爪笔记1 小时前
前端:HTML (学习笔记)【2】
前端·笔记·学习·html
_不会dp不改名_1 小时前
HCIA笔记3--TCP-UDP-交换机工作原理
笔记·tcp/ip·udp
-一杯为品-2 小时前
【51单片机】程序实验5&6.独立按键-矩阵按键
c语言·笔记·学习·51单片机·硬件工程
熙曦Sakura3 小时前
完全竞争市场
笔记
何大春4 小时前
【弱监督语义分割】Self-supervised Image-specific Prototype Exploration for WSSS 论文阅读
论文阅读·人工智能·python·深度学习·论文笔记·原型模式
dr李四维4 小时前
iOS构建版本以及Hbuilder打iOS的ipa包全流程
前端·笔记·ios·产品运营·产品经理·xcode
Komorebi.py8 小时前
【Linux】-学习笔记05
linux·笔记·学习
亦枫Leonlew8 小时前
微积分复习笔记 Calculus Volume 1 - 6.5 Physical Applications
笔记·数学·微积分
冰帝海岸13 小时前
01-spring security认证笔记
java·笔记·spring