(cvpr25) MP-HSIR: 面向通用高光谱图像复原的多提示框架

论文:(cvpr25) MP-HSIR: A Multi-Prompt Framework for Universal Hyperspectral Image Restoration

作者的研究目标是构建一款适配多样退化类型和强度的通用 HSI 复原框架,同时解决光谱特征复原不足、退化建模精度低的问题。MP-HSIR 的核心是融合光谱提示、文本提示、视觉提示三模态信息,设计了提示引导的空谱 Transformer(PGSSTB)和文本 - 视觉协同提示(TVSP)两大核心模块,整体为编码器 - 解码器架构,如下图所示。

提示引导的空谱 Transformer(PGSSTB): 构建了提示引导光谱自注意力 PGSSA,如下图所示,包括全局和局部两个分支,是光谱复原的关键。提示引导局部光谱分支,将特征划分为非重叠局部块,引入可学习的光谱提示 提供通用低秩光谱模式,引导注意力聚焦关键光谱通道,提升光谱特征重建和模型泛化性。

文本 - 视觉协同提示(TVSP): 文本提示部分通过退化预测器 Φ分类输入图像退化类型,基于预训练CLIP 模型生成对应文本嵌入作为提示,同时将嵌入转化为可学习参数适配 HSI 特性;视觉提示部分引入可学习视觉提示,通过跨注意力融合文本 - 视觉提示,实现全局退化调控和局部特征细化,最终通过跳连将融合特征传入解码器。

PGSSA中的光谱提示,是通过训练学习到通用低秩光谱模式,可将任意局部光谱特征表示为该模式的线性组合,显著提升局部光谱建模性能,增强模型在不同数据集和退化场景的泛化性。

相关推荐
松☆6 小时前
ops-cv:计算机视觉算子性能深度实
人工智能·计算机视觉
yychen_java7 小时前
IDEA × Qoder:告别“手写Spring”,进入AI协作开发新时代
人工智能·spring·intellij-idea
广凌股份(广凌科技)7 小时前
驱动教学模式革新:广凌智慧教学融合平台如何实现个性化教学?
人工智能·智慧校园·智慧教学
老王谈企服7 小时前
AI Agent将如何重构制造业的市场竞争战略决策模式?[2026数智转型深度洞察与技术解决方案]
人工智能·ai·重构
努力弹琴的大风天7 小时前
如何用AI开发matlab/Simulink工具栏模块,实现相关的功能
开发语言·人工智能·matlab
qq_525513757 小时前
# 第七章 指令微调学习(四) 7.6基于指令数据对大语言模型进行微调
深度学习·学习·语言模型
玄米乌龙茶1237 小时前
LLM成长笔记(四):大语言模型(LLM)基础认知
人工智能·笔记·语言模型
Yingjun Mo7 小时前
(二) LLM探索能力-1. 大语言模型能够进行上下文探索吗?
人工智能·语言模型·自然语言处理
winlife_7 小时前
把 Godot 编辑器接入 AI:Funplay MCP for Godot 介绍
人工智能·编辑器·godot·ai编程·游戏开发·mcp
财经资讯数据_灵砚智能7 小时前
基于全球经济类多源新闻的NLP情感分析与数据可视化(夜间-次晨)2026年5月20日
人工智能·python·信息可视化·自然语言处理·ai编程·灵砚智能