双分支双向 Mamba 网络|面向无人机高光谱树种精细分类

文章标题:MambaHSINet:一种用于高光谱树种分类的双分支双向状态空间网络

MambaHSINet: A Dual-Branch Bidirectional State Space Network for Hyperspectral Tree Species Classification

研究单位: 北京林业大学

摘要:

高光谱遥感能够提供丰富的光谱信息,已广泛应用于精细地物分类和森林监测。然而,由于不同树种之间的光谱差异细微、近缘树种具有相似的空间结构、光谱波段存在冗余,以及现有方法对长距离空间--光谱依赖关系的高效建模能力有限,准确的树种分类仍然面临较大挑战。此外,许多现有的高光谱图像分类方法依赖基于图像块(Patch)的输入方式和滑动窗口推理,这不仅容易产生大量重复计算,还难以充分利用整幅图像的全局上下文信息。针对上述问题,本文提出 MambaHSINet------ 一种面向整图像素级高光谱分类的双分支双向状态空间网络。具体而言,该网络设置光谱分支与空间分支,分别提取具有互补性的光谱响应特征与空间结构特征;随后引入基于选择性状态空间模型的双向 Mamba 全局建模模块,从正向和反向两个方向捕获长距离上下文依赖关系,同时保持线性的计算复杂度。不同于传统基于图像块的分类方法,MambaHSINet 以整幅高光谱图像作为输入,直接输出全分辨率像素级分类图,从而避免了重复裁剪以及滑动窗口推理带来的冗余计算。此外,本文还基于无人机搭载高光谱数据集构建了两个经过精细标注、专门用于树种分类的子数据集。在自建数据集与公开高光谱数据集上开展的实验结果表明:所提方法具备优异的分类精度、推理效率与泛化能力,在实际树种分类及其他通用高光谱应用场景中拥有良好应用前景。

数据采集:

本研究依托大疆 M350 无人机搭载X20P-LIR一体式多源遥感设备,于2025年10月在张家口市怀来县东花园镇开展飞行试验,飞行任务均在晴朗、无云的天气条件下,于14:00至15:00之间进行。X20P-LIR 高光谱传感器光谱覆盖范围 350~1000 nm,共计 164 个波段,光谱采样间隔 4 nm。

图1无人机高光谱遥感数据采集系统

图2 研究区地理位置与环境概况:(左)河北省怀来县地形图;(右)东花园镇 ZJK 数据集点位示意图

研究方法:

图3本文所提方法整体框架

表1 HL_1 数据集地物类别及训练 / 测试样本数量统计

图4 HL_1 数据集:伪彩色合成图、真值图及颜色图例

表2 HL_2 数据集地物类别及训练 / 测试样本数量统计

图5 HL_2 数据集:彩色合成图、真值图及颜色图例

图6 HL_1 数据集各类地物光谱曲线

图7 HL_2 数据集各类地物光谱曲线

图8 Pavia 数据集:(左)彩色合成图,(右)真值图及颜色图例

图9 Houston 数据集:(上)彩色合成图,(下)真值图及颜色图例

图10 WHU-Hi-LongKou 数据集:(左)假彩色合成图,(右)真值图及颜色图例

图11 参数敏感性分析:(a) 光谱分支通道数 ICSpeB 与总体精度 OA 关系;(b) 空间分支通道数 ICspaB 与总体精度 OA 关系;(c) Mamba 模块层数 SDMamL 与总体精度 OA 关系

表3 1% 训练样本比例下,三个数据集上网络核心模块消融实验结果(单位:%)

✓:采用该模块;×:移除该模块

图12 不同训练样本比例下光谱分支消融实验:(a) HL_1 数据集,(b) HL_2 数据集,(c) Pavia Centre 数据集

表4 HL_1 数据集上 SVM、Tri-CNN、HybridSN、SSFTT、MambaHSI、3DSS-Mamba、SS-Mamba 以及本文所提 MambaHSINet 的分类精度(%)

表5 HL_2 数据集上 SVM、Tri-CNN、HybridSN、SSFTT、MambaHSI、3DSS-Mamba、SS-Mamba 以及本文所提 MambaHSINet 的分类精度(%)

图13 HL_1 数据集上 SVM、Tri-CNN、HybridSN、SSFTT、MambaHSI、3DSS-Mamba、SS-Mamba 以及本文提出的 MambaHSINet 的标注影像与分类结果对比

图14 不同训练样本比例下光谱分支消融实验:(a) HL_1 数据集,(b) HL_2 数据集,(c) Pavia Centre 数据集

图15 Pavia Centre 数据集上 SVM、Tri-CNN、HybridSN、SSFTT、MambaHSI、3DSS-Mamba、SS-Mamba 以及本文提出的 MambaHSINet 的标注影像与分类结果对比

表6 不同模型在各数据集上的计算性能对比

图16 Houston 数据集上 MambaHSINet 的标注影像与分类结果

图17 WHU-Hi-LongKou 数据集上 MambaHSINet 的标注影像与分类结果

表7 MambaHSINet 与现有主流 Mamba 类 SOTA 方法网络结构对比

**研究结论:**本文提出了 MambaHSINet,一种基于双向状态空间模型(SSM)的双分支网络,用于整图像高光谱分类。通过采用整图端到端推理、解耦的光谱--空间特征提取以及线性复杂度的全局建模,该方法克服了传统基于图像块(Patch)的 Mamba 方法存在的重复计算量大以及长距离依赖建模能力不足等问题。在多个具有不同场景特征的高光谱数据集上进行实验表明,该模型具有较高的分类精度、良好的稳定性、较少的参数量、较快的推理速度以及较低的推理内存占用,并且在不同场景之间表现出良好的泛化能力。此外,本文还发布了两个经过精细标注的 ZJK 无人机载高光谱树种数据集子集。这两个子集覆盖典型的森林--农田过渡区域,丰富了精细森林分类研究中的标注数据,并可作为无人机森林监测的重要基准数据集。尽管该模型取得了较好的性能,但仍存在两个主要局限性。首先,整图训练会带来较大的计算开销和较高的 GPU 显存占用,从而限制了其在低端设备和大规模数据上的应用。其次,整图输入可能导致一定的传导式学习(Transductive Learning)偏差。未来的研究将重点优化训练策略,以降低硬件资源消耗并缓解上述偏差。

原文链接:https://doi.org/10.3390/rs18142368

相关推荐
亥时无人机管理系统20 小时前
一网统飞低空管控平台源码 全域无人机集中管理系统功能与落地优势
私有化部署·无人机·低空经济·无人机管理系统·一网统飞·行业巡检
拓恒技术3 天前
从“可见光漏检”到“热异常锁定”:无人机河道排污口识别与溯源的技术链路
人工智能·视觉检测·无人机
QXWZ_IA3 天前
无人机自主巡检从半自动到全闭环的阶段划分与定位要求
人工智能·安全·无人机
AiNightVision3 天前
无人机夜视模块如何选择?——从参数指标到系统集成的完整选型指南
人工智能·算法·计算机视觉·车载系统·无人机·视频·智能硬件
qq_25294131683 天前
无人机视角公路两侧滑坡检测数据集 | 公路巡检 滑坡检测 地质灾害 无人机航拍9302期
yolo·目标检测·目标跟踪·无人机·地质灾害·无人机视角·滑坡检测
tianxuanjg4 天前
无人机科研轻量化结构件采购指南|高校实验室选型避坑:轻量化与结构强度如何兼顾
人工智能·经验分享·机器人·无人机·制造
大势智慧4 天前
大势智慧支撑武汉市第二十四届职业技能大赛无人机测绘操控员(三维数字化)赛项圆满举办
无人机·比赛·职业技能大赛·武汉·空间赋能·圆满举办
AC10074095 天前
【德信康】无人机射频功放多频段切换模块
无人机
我喜欢就喜欢5 天前
无人机正射色差:镶嵌线 shp + 羽化接缝实操思路
无人机·遥感
小O的算法实验室6 天前
IEEE IOTJ,基于点云网络辅助粒子群算法+三维无人机基站部署
无人机