高光谱分类论文解读分享之基于多模态融合Transformer的遥感图像分类方法

IEEE TGRS 2023:基于多模态融合Transformer的遥感图像分类方法

题目

Multimodal Fusion Transformer for Remote Sensing Image Classification

作者

Swalpa Kumar Roy , Student Member, IEEE, Ankur Deria , Danfeng Hong , Senior Member, IEEE,

Behnood Rasti , Senior Member, IEEE, Antonio Plaza , Fellow, IEEE, and Jocelyn Chanussot ,Fellow, IEEE

关键词

Convolutional neural networks (CNNs), multihead cross-patch attention (mCrossPA), remote sensing (RS), vision transformer (ViT).

研究动机

在原始的ViT模型中,如果我们将HIS作为输入,由于HIS巨大的光谱波段数量,可能会导致过拟合;并且对于其他模态的融合,如果采用拼接的方式去实现信息互补,会加剧这种问题。

模型

与卷积神经网络相比,ViT在图像分类任务中具有良好的性能。因此,许多研究人员尝试将ViT应用到高光谱图像分类任务中。为了获得满意的性能,接近于CNN,变换需要更少的参数。VITS和其他类似的变换使用外部分类(CLS)标记,该标记是随机初始化的,通常不能很好地推广,而其他多模式数据集的来源,如光检测和测距(LiDAR),提供了通过CLS来改进这些模型的潜力。提出了一种新的多模式融合变换(MFT)网络,该网络包括用于HSI土地覆盖分类的多头交叉斑块注意力(MCrossPA)。我们的mCrosspA利用了除了变换编码器中的HSI之外的其他补充信息源来实现更好的泛化。使用标记化的概念来生成CLS和HSI斑块标记,帮助在精简和分层的特征空间中学习独特的表示。在广泛使用的基准数据集上进行了大量的实验,例如休斯顿大学(UH),特伦托大学(Trento),南密西西比湾公园大学(MUUFL),和Augsburg。我们将提出的MFT模型的结果与其他最先进的变压器、经典的CNN和传统的分类器模型进行了比较。该模型的卓越性能归功于mCrosSPA的使用。

亮点

提出了一种新型的多模融合transformer网络(MFT),其中包含multihead cross patch attention(mCrossPA)机制,将补充信息作为cls token,将HSI作为patch token。

论文以及代码

论文链接: link

代码链接: link

相关推荐
汽车仪器仪表相关领域几秒前
工业商业安全 “哨兵”:GT-NHVR-20-A1 点型可燃气体探测器实操解析与场景适配
大数据·人工智能·功能测试·安全·安全性测试
长桥夜波1 分钟前
【第十九周】机器学习笔记08
人工智能·笔记·机器学习
trsoliu27 分钟前
快手StreamLake重磅发布AI编程产品矩阵,自研大模型超越GPT-5,AI开发者新时代来临!
人工智能·ai编程
天涯路s38 分钟前
OpenCV 高级图像处理
人工智能·opencv·计算机视觉
小宁爱Python43 分钟前
从入门到实践:LangGraph 构建复杂 AI 工作流的完整指南
人工智能·python·microsoft·django
百锦再1 小时前
Python、Java与Go:AI大模型时代的语言抉择
java·前端·vue.js·人工智能·python·go·1024程序员节
IT_陈寒1 小时前
Vite 3.0终极提速指南:5个鲜为人知的配置技巧让构建效率翻倍
前端·人工智能·后端
深蓝岛1 小时前
LSTM与CNN融合建模的创新技术路径
论文阅读·人工智能·深度学习·机器学习·lstm
路人与大师1 小时前
如何快速将普通电脑改造为深度学习工作站
人工智能·深度学习·电脑