(tip26) Interactive Spatial-Frequency Fusion Mamba for Multi-Modal Image Fusion

作者认为现有多模态图像融合方法(MMIF),在频率域应用方面未实现多尺度高低频的自适应整合,高频噪声抑制效果不佳。同时,Mamba能以线性计算复杂度建模图像的长距离依赖,为 MMIF 提供了高效的特征提取方案。

为此,作者构建了ISFM 框架,整体包含 模态特定提取器(MSE)、多尺度频率融合(MFF)、交互式空频融合(ISF) 三个模块,其实中核心是 MFF 和 ISF。

多尺度频率融合(MFF): 如下图所示,采用 DWT将 特征分解为低频(LL)和高频(LH/HL/HH)分量;设计LFFB(低频融合块) :通过池化 + 深度卷积提取多尺度全局信息,结合空间注意力实现低频自适应融合;设计HFFB(高频融合块):通过不同尺寸平均池化相减增强边缘细节、抑制噪声,实现高频特征的鲁棒融合。输出两个特征,分别为用于 ISF 引导的特征、转换为空间域的特征。

交互式空频融合(ISF): 核心为频率引导曼巴(FGM)和频率引导门(FGG),实现频率特征对空间融合的跨模态引导。FGM 通过深度卷积 + 2D-SSM 处理空间特征,结合 FGG 生成的门控特征调制空间特征,实现空频信息的交互式整合; FGG 对空间特征和频率特征进行全局编码,生成自适应门控权重,引导空间特征的跨模态融合,提升互补信息挖掘能力。

实验部分可以参考作者论文,这里不过多介绍。

相关推荐
JAVA面经实录9172 分钟前
Spring AI 高频开发万能 Prompt 合集 + 生产级工具类
java·人工智能·spring·prompt
Jmayday4 分钟前
NLP第一章:自然语言处理入门
人工智能·自然语言处理
HuDie3404 分钟前
prompt构建
大数据·人工智能·prompt
小罗和阿泽5 分钟前
简单认识一下大模型!
人工智能·语言模型
TTGGGFF7 分钟前
深度学习如何重塑三维重建:从任务定义到工程落地全流程解析
人工智能·深度学习
财经资讯数据_灵砚智能8 分钟前
基于全球经济类多源新闻的NLP情感分析与数据可视化(日间)2026年4月29日
大数据·人工智能·python·信息可视化·自然语言处理
天天讯通11 分钟前
OKCC 海外落地最简配置:助力海外业务高效运营
人工智能
AI技术增长12 分钟前
Pytorch图像去噪实战(七):Noise2Noise自监督图像去噪实战,没有干净图也能训练模型
人工智能·pytorch·python
广州灵眸科技有限公司16 分钟前
瑞芯微(EASY EAI)RV1126B AI算法开发流程
人工智能·算法·机器学习
志栋智能2 小时前
运维超自动化:构建弹性IT架构的关键支撑
运维·服务器·网络·人工智能·架构·自动化