(tip26) Interactive Spatial-Frequency Fusion Mamba for Multi-Modal Image Fusion

作者认为现有多模态图像融合方法(MMIF),在频率域应用方面未实现多尺度高低频的自适应整合,高频噪声抑制效果不佳。同时,Mamba能以线性计算复杂度建模图像的长距离依赖,为 MMIF 提供了高效的特征提取方案。

为此,作者构建了ISFM 框架,整体包含 模态特定提取器(MSE)、多尺度频率融合(MFF)、交互式空频融合(ISF) 三个模块,其实中核心是 MFF 和 ISF。

多尺度频率融合(MFF): 如下图所示,采用 DWT将 特征分解为低频(LL)和高频(LH/HL/HH)分量;设计LFFB(低频融合块) :通过池化 + 深度卷积提取多尺度全局信息,结合空间注意力实现低频自适应融合;设计HFFB(高频融合块):通过不同尺寸平均池化相减增强边缘细节、抑制噪声,实现高频特征的鲁棒融合。输出两个特征,分别为用于 ISF 引导的特征、转换为空间域的特征。

交互式空频融合(ISF): 核心为频率引导曼巴(FGM)和频率引导门(FGG),实现频率特征对空间融合的跨模态引导。FGM 通过深度卷积 + 2D-SSM 处理空间特征,结合 FGG 生成的门控特征调制空间特征,实现空频信息的交互式整合; FGG 对空间特征和频率特征进行全局编码,生成自适应门控权重,引导空间特征的跨模态融合,提升互补信息挖掘能力。

实验部分可以参考作者论文,这里不过多介绍。

相关推荐
树上有只程序猿7 分钟前
主流低代码管理平台深度解析(最新)
人工智能·低代码·软件开发·软件需求
宅小年13 分钟前
你不会输给 AI,只会输给更会用 AI 的人
人工智能
武子康23 分钟前
调查研究-165 vLLM 深入浅出:从 PagedAttention 到生产级大模型推理服务
人工智能·openai
冬奇Lab23 分钟前
每日一个开源项目(第126篇):turbovec - 向量索引的内存杀手,1千万文档从31GB压到4GB
人工智能·开源·llm
继续商行25 分钟前
模型量化实践:GPTQ 与 AWQ 在生产环境的精度与速度权衡
人工智能
知识浅谈27 分钟前
人工智能日报 每日AI新闻(2026年6月8日):OpenAI安全加码、苹果AI升级前夜与国产AI应用落地
人工智能·安全·chatgpt
冬奇Lab35 分钟前
Agent 系列(17):Harness Engineering——给自主 Agent 装上安全护栏
人工智能·llm·agent
鸿栢男子焊胡工1 小时前
汽车焊装线如何实现零漏焊?深度拆解 PIDS-A20AT 自动螺柱焊机全链路防错体系
人工智能·汽车·鸿栢科技
七老板的blog1 小时前
当 Spring StateMachine 遇见大模型:构建工业级 AI 写作流水线
java·人工智能·spring