(cvpr25) MP-HSIR: 面向通用高光谱图像复原的多提示框架

论文:(cvpr25) MP-HSIR: A Multi-Prompt Framework for Universal Hyperspectral Image Restoration

作者的研究目标是构建一款适配多样退化类型和强度的通用 HSI 复原框架,同时解决光谱特征复原不足、退化建模精度低的问题。MP-HSIR 的核心是融合光谱提示、文本提示、视觉提示三模态信息,设计了提示引导的空谱 Transformer(PGSSTB)和文本 - 视觉协同提示(TVSP)两大核心模块,整体为编码器 - 解码器架构,如下图所示。

提示引导的空谱 Transformer(PGSSTB): 构建了提示引导光谱自注意力 PGSSA,如下图所示,包括全局和局部两个分支,是光谱复原的关键。提示引导局部光谱分支,将特征划分为非重叠局部块,引入可学习的光谱提示 提供通用低秩光谱模式,引导注意力聚焦关键光谱通道,提升光谱特征重建和模型泛化性。

文本 - 视觉协同提示(TVSP): 文本提示部分通过退化预测器 Φ分类输入图像退化类型,基于预训练CLIP 模型生成对应文本嵌入作为提示,同时将嵌入转化为可学习参数适配 HSI 特性;视觉提示部分引入可学习视觉提示,通过跨注意力融合文本 - 视觉提示,实现全局退化调控和局部特征细化,最终通过跳连将融合特征传入解码器。

PGSSA中的光谱提示,是通过训练学习到通用低秩光谱模式,可将任意局部光谱特征表示为该模式的线性组合,显著提升局部光谱建模性能,增强模型在不同数据集和退化场景的泛化性。

相关推荐
小玮看世界41 分钟前
当AI学会“讨好”:政务智能化的“泛娱乐化”陷阱与防治
人工智能
Mr.朱鹏42 分钟前
科技周报(第2026-08-17):开源与变现
人工智能·科技·开源
TechEdu20260642 分钟前
[人工智能]Tianshou强化学习框架:概念、架构与工程实践
人工智能·ai·rl
苏苏susuus44 分钟前
从像素到汉字:OCR 模型是如何依靠 CNN “学会“识字的?
人工智能·cnn·ocr
努力搬砖的咸鱼1 小时前
意图理解:让Agent从需求描述自动生成Pytest测试策略
人工智能·python·ai·单元测试·pytest·agent
ZJU_统一阿萨姆1 小时前
【推理优化进阶】性能实验科学:工作负载、统计显著性与尾延迟归因
开发语言·人工智能·语言模型·系统架构·vllm
weixin_509138341 小时前
【无标题】
人工智能·agi·智能体·认知动力学·智能体认知
IT_陈寒1 小时前
Java Stream并行处理让我数据库崩了两次
前端·人工智能·后端
2601_956319881 小时前
2026年下半年,量化学习要把交易认知和技术实现接起来
人工智能·python
jay神1 小时前
深度学习为什么需要反向传播
人工智能·深度学习·yolo·目标检测·cnn·毕业设计