(cvpr25) MP-HSIR: 面向通用高光谱图像复原的多提示框架

论文:(cvpr25) MP-HSIR: A Multi-Prompt Framework for Universal Hyperspectral Image Restoration

作者的研究目标是构建一款适配多样退化类型和强度的通用 HSI 复原框架,同时解决光谱特征复原不足、退化建模精度低的问题。MP-HSIR 的核心是融合光谱提示、文本提示、视觉提示三模态信息,设计了提示引导的空谱 Transformer(PGSSTB)和文本 - 视觉协同提示(TVSP)两大核心模块,整体为编码器 - 解码器架构,如下图所示。

提示引导的空谱 Transformer(PGSSTB): 构建了提示引导光谱自注意力 PGSSA,如下图所示,包括全局和局部两个分支,是光谱复原的关键。提示引导局部光谱分支,将特征划分为非重叠局部块,引入可学习的光谱提示 提供通用低秩光谱模式,引导注意力聚焦关键光谱通道,提升光谱特征重建和模型泛化性。

文本 - 视觉协同提示(TVSP): 文本提示部分通过退化预测器 Φ分类输入图像退化类型,基于预训练CLIP 模型生成对应文本嵌入作为提示,同时将嵌入转化为可学习参数适配 HSI 特性;视觉提示部分引入可学习视觉提示,通过跨注意力融合文本 - 视觉提示,实现全局退化调控和局部特征细化,最终通过跳连将融合特征传入解码器。

PGSSA中的光谱提示,是通过训练学习到通用低秩光谱模式,可将任意局部光谱特征表示为该模式的线性组合,显著提升局部光谱建模性能,增强模型在不同数据集和退化场景的泛化性。

相关推荐
蜗牛一步步往上爬2 分钟前
第十六章 C++语言在深度学习中的应用
开发语言·c++·深度学习
不惑_4 分钟前
理解启元,从论文开始,RT-2 55B 只有 1~3Hz,OpenVLA 7B 反而高 16.5%——三代 VLA 论文解读,动作表示才是分水岭
人工智能·论文解读
IT_陈寒6 分钟前
Redis内存暴涨,没想到是AOF重写捣的鬼
前端·人工智能·后端
楚山之石10 分钟前
【JCO】mpMRI 先行替代 TURBT 初始分期:BladderPath 随机试验让 MIBC 患者提前 45 天得到正确治疗
人工智能·学习·mri·医学影像
AI视频工具指南32 分钟前
用 AI 能做哪些视频?按想交付的作品选做法
人工智能·aigc·音视频
武天旭42 分钟前
AI安全--AI大模型的对抗样本攻击与防御解析
人工智能·深度学习·安全·机器学习
shijuejianceliu1 小时前
传统规则视觉与嵌入式AI智能相机的技术差异
人工智能·嵌入式硬件·视觉检测·相机
goujunwe2 小时前
GEO 内容的“可摘录性”打磨技巧:段落、表格、小标题怎么写,方便大模型提取独立答案块
大数据·人工智能
羲云网络2 小时前
GPT Image 2.6 接入指南:Flare、Sunburst 怎么选,编辑失败如何排查
人工智能·python·aigc·图像生成·acedatacloud
张张123y2 小时前
DSH 插件调试避坑:client.js 设置面板、热重载与高频报错排查表
开发语言·javascript·人工智能·开源·ecmascript·后端开发·ai agent