(cvpr25) MP-HSIR: 面向通用高光谱图像复原的多提示框架

论文:(cvpr25) MP-HSIR: A Multi-Prompt Framework for Universal Hyperspectral Image Restoration

作者的研究目标是构建一款适配多样退化类型和强度的通用 HSI 复原框架,同时解决光谱特征复原不足、退化建模精度低的问题。MP-HSIR 的核心是融合光谱提示、文本提示、视觉提示三模态信息,设计了提示引导的空谱 Transformer(PGSSTB)和文本 - 视觉协同提示(TVSP)两大核心模块,整体为编码器 - 解码器架构,如下图所示。

提示引导的空谱 Transformer(PGSSTB): 构建了提示引导光谱自注意力 PGSSA,如下图所示,包括全局和局部两个分支,是光谱复原的关键。提示引导局部光谱分支,将特征划分为非重叠局部块,引入可学习的光谱提示 提供通用低秩光谱模式,引导注意力聚焦关键光谱通道,提升光谱特征重建和模型泛化性。

文本 - 视觉协同提示(TVSP): 文本提示部分通过退化预测器 Φ分类输入图像退化类型,基于预训练CLIP 模型生成对应文本嵌入作为提示,同时将嵌入转化为可学习参数适配 HSI 特性;视觉提示部分引入可学习视觉提示,通过跨注意力融合文本 - 视觉提示,实现全局退化调控和局部特征细化,最终通过跳连将融合特征传入解码器。

PGSSA中的光谱提示,是通过训练学习到通用低秩光谱模式,可将任意局部光谱特征表示为该模式的线性组合,显著提升局部光谱建模性能,增强模型在不同数据集和退化场景的泛化性。

相关推荐
桃花猿1 小时前
大模型Token入门详解:概念、原理、换算与核心作用【AI基础】
人工智能·chatgpt
uesowys1 小时前
腾讯云使用OpenClaw搭建企业微信AI助手
人工智能·企业微信·腾讯云·openclaw
irpywp2 小时前
OpenShell:安全沙箱隔离的沙箱隔离技术
人工智能·安全
勾股导航5 小时前
大模型Skill
人工智能·python·机器学习
卷福同学7 小时前
【养虾日记】Openclaw操作浏览器自动化发文
人工智能·后端·算法
春日见7 小时前
如何入门端到端自动驾驶?
linux·人工智能·算法·机器学习·自动驾驶
光锥智能8 小时前
从自动驾驶到 AI 能力体系,元戎启行 GTC 发布基座模型新进展
人工智能
luoganttcc8 小时前
自动驾驶 世界模型 有哪些
人工智能·机器学习·自动驾驶
潘高8 小时前
10分钟教你手撸一个小龙虾(OpenClaw)
人工智能