(tip26) Interactive Spatial-Frequency Fusion Mamba for Multi-Modal Image Fusion

作者认为现有多模态图像融合方法(MMIF),在频率域应用方面未实现多尺度高低频的自适应整合,高频噪声抑制效果不佳。同时,Mamba能以线性计算复杂度建模图像的长距离依赖,为 MMIF 提供了高效的特征提取方案。

为此,作者构建了ISFM 框架,整体包含 模态特定提取器(MSE)、多尺度频率融合(MFF)、交互式空频融合(ISF) 三个模块,其实中核心是 MFF 和 ISF。

多尺度频率融合(MFF): 如下图所示,采用 DWT将 特征分解为低频(LL)和高频(LH/HL/HH)分量;设计LFFB(低频融合块) :通过池化 + 深度卷积提取多尺度全局信息,结合空间注意力实现低频自适应融合;设计HFFB(高频融合块):通过不同尺寸平均池化相减增强边缘细节、抑制噪声,实现高频特征的鲁棒融合。输出两个特征,分别为用于 ISF 引导的特征、转换为空间域的特征。

交互式空频融合(ISF): 核心为频率引导曼巴(FGM)和频率引导门(FGG),实现频率特征对空间融合的跨模态引导。FGM 通过深度卷积 + 2D-SSM 处理空间特征,结合 FGG 生成的门控特征调制空间特征,实现空频信息的交互式整合; FGG 对空间特征和频率特征进行全局编码,生成自适应门控权重,引导空间特征的跨模态融合,提升互补信息挖掘能力。

实验部分可以参考作者论文,这里不过多介绍。

相关推荐
嗷嗷哦润橘_4 小时前
whynotTV徐丹飞:离通用智能机器人还有多远
人工智能·ai·具身智能
手写码匠4 小时前
手写 AI 推理加速引擎:从零实现 KV Cache 与 Speculative Decoding
人工智能·深度学习·算法·aigc
Agent手记4 小时前
能源供应链智能体落地实战:从招标审核到备件调度,AI Agent全链路方案解析
人工智能·能源
不开大的凯20774 小时前
海外AI圈的“五月风暴”:一场没有硝烟的全面战争
大数据·人工智能
染指11104 小时前
7.相似度计算(本地模型下载和使用,在线模型的使用)-RAG基础1
人工智能·机器学习·阿里云·向量·rag
名不经传的养虾人4 小时前
从0到1:企业级AI项目迭代日记 Vol.28|企业AI的交付不是给工具,而是给搭好的能力
大数据·人工智能·ai编程·ai工作流·企业ai·多agent协作
DianSan_ERP4 小时前
自研电商架构:一套API安全对接60+平台
大数据·运维·数据库·人工智能·安全·架构
传说故事4 小时前
【论文阅读】Continual Harness: Online Adaptation for Self-Improving Foundation Agents
论文阅读·人工智能·agent
m0_617493944 小时前
OpenCV报错解决:cornerSubPix断言失败 src.channels() == 1 的终极指南
人工智能·opencv·计算机视觉
大模型最新论文速读4 小时前
CIPO:把失败的推理轨迹变成纠错教材
人工智能