CVPR2025 | 首个多光谱无人机单目标跟踪大规模数据集与统一框架, 数据可直接下载

论文介绍

题目:MUST: The First Dataset and Unified Framework for Multispectral UAV Single Object Tracking

期刊:IEEE/CVF Computer Vision and Pattern Recognition Conference

论文:https://arxiv.org/abs/2503.17699

数据:https://github.com/q2479036243/MUST-Multispectral-UAV-Single-Object-Tracking

年份:2025

单位:北京理工大学

【遥感图像分类实战视频教程】

这才是科研人该学的!基于深度学习的遥感图像分类实战,一口气学完图像处理、特征提取、分类算法、变化检测、图像配准、辐射校正等7大算法!通俗易懂,新手也能学会!https://www.bilibili.com/video/BV1SPExznEHe/?spm_id_from=333.337.search-card.all.click&vd_source=75de451a527a341260671f8dfa953400

创新点

提出了首个面向无人机多光谱单目标跟踪的大规模数据集(MUST),包含250个视频序列,涵盖12类真实挑战情境,填补了该领域的空白。

构建了统一融合光谱、空间和时间特征的跟踪框架(UNTrack),综合利用历史光谱提示、初始模板和连续帧信息,提高在复杂场景中的鲁棒性。

引入非对称注意力机制和光谱背景抑制模块,有效降低计算量,提升了目标定位的精度和效率。

设计了光谱提示编码器并结合参数迁移策略,使RGB预训练模型能有效适用于多光谱任务,大幅提升模型性能。

数据

MUST 数据集

  • 基本信息

    包含 250 个多光谱视频序列,共 42671 帧,分辨率为 1200×900,帧率 5 fps。

  • 光谱特征

    每帧图像具有 8 个波段,覆盖 390--950 nm,涵盖可见光与近红外,增强目标与背景的光谱可分性。

  • 挑战属性

    每个序列标注了 12 类跟踪挑战,如遮挡、快速运动、相似颜色、背景杂乱、出视野等,全面模拟真实无人机跟踪环境。

  • 采集与标注

    数据由无人机搭载多光谱相机采集,飞行高度 20--250 米。所有图像经几何与辐射校正,并由人工精确标注目标框和遮挡状态。

方法

本文提出了一种名为 UNTrack 的多光谱无人机目标跟踪框架。该方法通过统一建模光谱、空间和时间特征,提升在复杂场景下的跟踪鲁棒性与效率。整体结构包括三个主要模块:统一非对称Transformer、光谱提示编码器,以及预测头。

该模块的目标是从多个维度提取目标的判别特征,具体包括:

  • 输入信息:将历史帧的光谱提示、初始模板图像和连续搜索帧作为统一输入,构建一个融合的特征序列。

  • 非对称注意力机制:与标准Transformer不同,UNTrack只保留与目标定位密切相关的注意力路径,例如模板与搜索帧之间的交互,历史提示与搜索帧之间的交互等;而剪除掉冗余或干扰性的部分(如模板与提示之间的相互作用),以降低计算开销并减少噪声干扰。

  • 搜索序列输入:不同于只用当前帧进行搜索,UNTrack引入连续帧作为序列输入,从而更好地建模目标在时间上的连续性和运动轨迹。

2. 光谱背景消除机制

为减少背景干扰和计算成本,UNTrack在Transformer中嵌入了一个背景消除模块,流程如下:

  • 基于注意力结果判断图像中各区域与目标的相关性。

  • 只保留与目标高度相关的区域作为候选,其余区域视为背景并剔除。

  • 候选区域比例会在训练中动态调整,以适应不同场景下的目标显著性。

该机制利用多光谱信息增强了目标与背景的光谱差异感知,能够有效过滤外部干扰。

3. 光谱提示编码器

该模块用于生成并更新代表目标材料特征的光谱提示,具体做法如下:

  • 首先,将历史光谱提示与当前模板信息进行特征融合,提取目标的稳定光谱特征。

  • 使用 compression-excitation机制(通过轻量卷积和多层感知机)聚焦关键光谱通道,抑制冗余信息。

  • 最终输出一个紧凑的光谱向量,用作下一个时间点的跟踪输入,从而增强跨帧一致性。

该设计确保了模型能持续感知目标的"材料本质",即使目标在颜色或外形上发生变化,也能维持准确跟踪。

4. 预测头与损失设计

UNTrack采用双分支预测头来同时进行目标定位与分类:

  • 一条分支用于输出目标位置的边界框。

  • 另一条分支用于输出每个候选区域是否为目标的置信度。

训练阶段使用了常见的分类损失与边界框回归损失,保证定位精度和分类准确性。

结果与分析

本文方法在多光谱无人机跟踪数据集上全面优于现有主流方法,表现出更强的鲁棒性和适应性。同时在多光谱和RGB通用数据集上也展现出良好的迁移能力,证明了其结构的通用性与效率。

【遥感图像分类实战视频教程】

这才是科研人该学的!基于深度学习的遥感图像分类实战,一口气学完图像处理、特征提取、分类算法、变化检测、图像配准、辐射校正等7大算法!通俗易懂,新手也能学会!https://www.bilibili.com/video/BV1qYvaePEoE/?spm_id_from=333.337.search-card.all.click&vd_source=75de451a527a341260671f8dfa953400

相关推荐
zzywxc7872 分钟前
AI大模型的技术演进、流程重构、行业影响三个维度的系统性分析
人工智能·重构
点控云2 分钟前
智能私域运营中枢:从客户视角看 SCRM 的体验革新与价值重构
大数据·人工智能·科技·重构·外呼系统·呼叫中心
zhaoyi_he10 分钟前
多模态大模型的技术应用与未来展望:重构AI交互范式的新引擎
人工智能·重构
葫三生1 小时前
如何评价《论三生原理》在科技界的地位?
人工智能·算法·机器学习·数学建模·量子计算
m0_751336392 小时前
突破性进展:超短等离子体脉冲实现单电子量子干涉,为飞行量子比特奠定基础
人工智能·深度学习·量子计算·材料科学·光子器件·光子学·无线电电子
美狐美颜sdk5 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程6 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
有Li6 小时前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
郭庆汝6 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
IT古董6 小时前
【第二章:机器学习与神经网络概述】03.类算法理论与实践-(3)决策树分类器
神经网络·算法·机器学习