SpectralDiff论文阅读笔记

高光谱图像分类是遥感领域的一个重要问题,在地球科学中有着广泛的应用。近年来,人们提出了大量基于深度学习的HSI分类方法。然而,现有方法处理高维、高冗余和复杂数据的能力有限,这使得捕获数据的光谱空间分布和样本之间的关系具有挑战性。 为了解决这一问题,我们提出了一种基于扩散模型的HSI分类生成框架(SpectralDiff) ,该框架通过迭代去噪和显式构建数据生成过程,有效地挖掘高维和高冗余数据的分布信息,从而更好地反映样本之间的关系。

该框架由光谱空间扩散模块和基于注意力的分类模块组成。
光谱-空间扩散模块采用正向和反向光谱-空间扩散过程,实现样本关系的自适应构建,无需预先了解图形结构或邻域信息。 它捕获HSI中目标的光谱空间分布和上下文信息,并在反向扩散过程中挖掘无监督光谱空间扩散特征。

最后,将这些特征输入到基于注意力的分类模块中,用于每像素分类。 扩散特征可以通过重建分布促进跨样本感知,从而提高分类性能。

代码: https://github.com/chenning0115/SpectralDiff


图1 整体框架

图2 光谱-空间去噪网络的结构。(a) 通过前向扩散处理来处理原始HSI数据,以获得添加了高斯噪声的图像数据。随后,数据通过编码器-解码器结构,最终输出为与原始HSI数据形状相同的张量。该输出表示网络对添加的初始噪声的预测。(b) 三维下采样块的详细信息。(c) 三维上采样块的详细信息。

在本研究中,提出了一种从生成角度 构建HSI数据的光谱-空间分布 并捕捉光谱-空间特征的新方法。所提出的方法为光谱-空间扩散过程提供了一个独特的视角,并在建立样本之间的关系方面发挥了关键作用。利用所提出的SpectralDiff,可以在没有图结构或邻域信息的先验知识的情况下自适应地构建样本关系。该方法捕捉HSI中对象的数据分布和上下文信息,实现跨样本感知。实验结果表明,该方法优于现有技术。

展望未来,一个令人兴奋的探索途径在于研究扩散模型在高光谱成像背景下的超分布泛化和检测潜力,建立在生成范式的基础上。预计扩散模型将继续推进这些领域,通过扩散过程捕捉潜在的数据流形,从而学习将其推广到训练分布之外的未知例子。此外,扩散模型在识别分布外样本方面表现出强大的检测性能。展望未来,扩散模型有很大的潜力进一步为分布外泛化和检测领域做出贡献。随着进一步的研究,利用扩散模型的力量分析复杂和高维高光谱数据的发展有望继续,为未来在不同领域的应用带来令人兴奋的机会。

相关推荐
Sakura_j_h_3 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver
前进的李工6 小时前
Agent 学习笔记 15:Agent 怎样响应事件与中途打断?
人工智能·笔记·agent·openclaw·工具设计·gpt-6 astra·原生异步
天树星智源6 小时前
记忆该记「赔率跳变」:机器人长时程十连任务,事件记忆 88.0%,删掉失败记录只剩 1.7%
论文阅读·人工智能·机器人
希和20279 小时前
51 单片机学习笔记:LCD1602、独立按键、I2C 与 AT24C02 掉电存储(江科大课程小白笔记)
笔记·单片机·学习
北风toto10 小时前
Spring Boot 常用注解 · 概要笔记
spring boot·笔记·后端
下一站春风里10 小时前
Spring IoC 控制反转 完整技术笔记
java·spring boot·笔记·spring
一只大鸽子1 天前
游戏开发笔记4-像素画基础 轮廓-直线和曲线
笔记
小杨小杨、努力变强!1 天前
python学习笔记
笔记·学习
杨逢昌工厂6S管理1 天前
150-杨逢昌一线现场诊断笔记:越管一线越抵触背后的熵增机理与基准化治理
经验分享·笔记·职场和发展·学习方法
XLYcmy1 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告的建议和改进方向
论文阅读·论文笔记·token·commit·asr·论文分享·tokenizer