频域+特征融合：深度学习的黄金组合，顶会顶刊的快速通道

继频域分析在底层视觉任务中崭露头角后，空间-频域协同 又迎来一波顶级成果爆发，SFAFNet、DuFal、MDAFNet等工作横空出世！这些方法为图像去模糊、医学影像重建、红外小目标检测等多个高精度领域提供了全新的双域范式，同时解决了传统CNN模型高频细节捕捉不力、单一域信息处理遭遇瓶颈的痛点。

从原理上说，这些方法得益于双域融合在信息表征完备性 上的压倒性优势，通过将空间域的局部结构与频域的全局/高频特性结合，形成优势互补、时频兼顾的特征，从而让模型对图像内容的理解更深刻、更精细。同时，这种融合思想也让该组合能完美契合AIGC时代对图像生成与编辑高保真度的需求，研究前景无比广阔。

目前创新集中在高效融合架构、频域精细建模与跨领域应用。为方便各位快速了解前沿，我已经整理好了15篇相关论文，需要参考可以直接领。

➔➔➔➔点击查看原文，获取

---

SFNet: Fusion of Spatial and Frequency-Domain Features for Remote Sensing Image Forgery Detection

• 关键词: 图像去模糊, 空间-频域融合, 可学习低通滤波器, 交叉注意力

• 方法 :

  • 该论文针对传统去模糊方法仅依赖单一空间域或频域信息的局限性，提出了名为 SFAFNet (空间-频域自适应融合网络) 的解决方案。其核心是一个门控空间-频域特征融合模块(GSFFBlock)，该模块并行提取空间局部特征和由可学习低通滤波器分解出的全局频率特征，最后通过创新的门控和交叉注意力机制，将两种特征进行智能、自适应的融合，从而实现前所未有的去模糊效果。

SFAFNet整体架构图

• 创新点 :

  1. 提出了SFAFNet，一个空间-频域自适应融合网络，实现了图像去模糊任务的SOTA性能。

  2. 创新地设计了门控空间-频域特征融合模块(GSFFBlock)，通过结合局部空间信息和全局频率信息，解决了单一域处理的局限性。

  3. 设计了频率域信息动态生成模块(FDGM)，通过一个理论上可证明的可学习低通滤波器，动态地将特征分解为不同的频率子带。

  4. 提出了门控融合模块(GFM)，首次将门控机制(GATE)与交叉注意力机制(CAM)结合，用于自适应地重加权并融合空间与频率特征。

SFAFNet在GoPro数据集上的性能与计算成本对比

---

DuFal: Dual-Frequency-Aware Learning for High-Fidelity Extremely Sparse-view CBCT Reconstruction

• 关键词: CBCT重建, 稀疏视角, 傅里叶神经算子, 双频感知, 交叉注意力

• 方法 :

  • 该论文直面稀疏视角CT重建中高频解剖细节丢失的痛点，提出了名为 DuFal (双频感知学习) 的框架。它采用革命性的双路径编码架构：一条路径使用传统CNN捕捉空间结构，另一条则引入了创新的"高-局部分解傅里叶神经算子"(HiLocFFNO)来同时捕捉全局和局部的频率模式。最后，通过一个专门设计的交叉注意力频率融合模块(CAFF)，将空间和频率信息完美整合，重建出高保真度的CT影像。

DuFal整体框架图

• 创新点 :

  1. 提出了DuFal端到端框架，通过双编码架构并行处理空间和频率信息，实现了稀疏视角下的高保真CBCT重建。

  2. 创新地设计了高-局部分解傅里叶神经算子(HiLocFFNO)，通过全局和局部分支互补，解决了传统FNO全局感受野可能丢失局部细节的问题。

  3. 通过谱-通道分解(SCF)方法，将复杂的FNO权重张量分解，大幅降低了模型参数量和计算复杂度，使高分辨率频域处理成为可能。

  4. 设计了交叉注意力频率融合(CAFF)机制，首次在频率域内直接对特征的实部和虚部应用交叉注意力，高效融合空间和频谱特征。

DuFal重建效果图

---

MDAFNet: Multiscale Differential Edge and Adaptive Frequency Guided Network for Infrared Small Target Detection

• 关键词: 红外小目标检测, 边缘退化, 频率干扰, 多尺度边缘, 双域融合

• 方法 :

  • 该论文针对红外小目标检测中目标边缘随网络加深而退化，以及高频目标易与高频噪声混淆的难题，提出了 MDAFNet。该网络双管齐下：一方面，通过"多尺度差分边缘"(MSDE)模块独立提取并强化目标边缘信息，补偿下采样损失；另一方面，通过"双域自适应特征增强"(DAFE)模块，结合小波变换和自适应频率调制，精准增强高频目标信号，同时抑制高频噪声。

MDAFNet模型架构图

• 创新点 :

  1. 设计了多尺度差分边缘(MSDE)模块，通过独立的边缘分支和多尺度增强机制，有效补偿了下采样过程中目标边缘信息的累积损失。

  2. 提出了双域自适应特征增强(DAFE)模块，创新地结合了频域处理(小波变换)和空间域的自适应频率调制，解决了高频目标与高频噪声难以区分的问题。

  3. 在DAFE模块中通过自适应频率调制(AFM)机制，利用可学习的通道级参数对高低频分量进行加权，实现了对高频目标的自适应增强和对噪声的有效抑制。

  4. 首次将多尺度差分边缘补偿与双域自适应频率增强结合在一个U型网络中，协同解决了红外小目标检测中的边缘退化和频率干扰两大核心挑战。

为方便各位快速了解前沿，我已经整理好了15篇相关论文，需要参考可以直接领。

➔➔➔➔点击查看原文，获取