【Block总结】SAFMN,空间自适应调制与局部特征增强的协同设计|即插即用

论文信息


创新点

  1. 空间自适应特征调制(SAFM):通过独立计算多尺度特征并动态聚合,实现非局部特征依赖的高效建模[6][8]。
  2. 卷积通道混合器(CCM):在SAFM基础上补充局部上下文信息,同时完成通道混合,提升局部特征表达能力[6][13]。
  3. 轻量化设计:模型参数量仅为同类高效超分方法(如IMDN)的1/3,内存占用更低,适用于低功耗设备[6][9]。

方法

整体架构

  1. 特征提取:使用卷积层将低分辨率图像映射到特征空间。
  2. 特征混合模块(FMM):由SAFM和CCM组成,堆叠多个FMM模块进行特征增强。
  3. 重建模块:通过上采样生成高分辨率图像[6][10][16]。

核心模块细节

  • SAFM层
    • 通过多分支结构学习不同尺度特征,动态调整空间权重以融合全局信息。
    • 类似ViT的非局部建模能力,但计算复杂度更低[10][13]。
  • CCM模块
    • 使用深度可分离卷积提取局部特征,减少参数量。
    • 引入通道注意力机制优化特征通道关系[6][13]。

效果与实验结果

定量评估

  • 在Set5、Set14等基准数据集上,SAFMN在PSNR/SSIM指标上与IMDN等模型相当,但参数量减少70%[6][9]。
  • 在NTIRE2023高效超分挑战赛中:
    • 基础版SAFMN获整体性能赛道Top6,模型复杂度赛道Top3[7]。
    • 改进版SAFMN++在NTIRE2024挑战赛的保真度赛道排名第一[7]。

效率优势

  • 参数量:SAFMN为0.95M,IMDN为3.2M[6][9]。
  • 内存占用:相比IMDN减少50%,适合移动端部署[6][8]。

总结

SAFMN通过空间自适应调制与局部特征增强的协同设计,在超分任务中实现了精度与效率的平衡。其轻量化特性使其在低功耗设备(如手机、嵌入式系统)中具有实际应用潜力。后续改进版本(如SAFMN++)进一步验证了该框架的可扩展性[7][17]。

代码

python 复制代码
import torch
import torch.nn as nn
import torch.nn.functional as F

# Spatially-Adaptive Feature Modulation
class SAFM(nn.Module):
    def __init__(self, dim, n_levels=4):
        super().__init__()
        self.n_levels = n_levels
        chunk_dim = dim // n_levels

        # Multiscale feature representation
        self.mfr = nn.ModuleList([nn.Conv2d(chunk_dim, chunk_dim, 3, 1, 1, groups=chunk_dim, bias=False) for i in range(self.n_levels)])

        # Feature aggregation
        self.aggr = nn.Conv2d(dim, dim, 1, 1, 0, bias=False)

        # Activation
        self.act = nn.GELU()

    def forward(self, x):
        h, w = x.size()[-2:]

        xc = x.chunk(self.n_levels, dim=1)
        out = []
        for i in range(self.n_levels):
            if i > 0:
                p_size = (h//2**(i+1), w//2**(i+1))
                s = F.adaptive_max_pool2d(xc[i], p_size)
                s = self.mfr[i](s)
                s = F.interpolate(s, size=(h, w), mode='nearest')
            else:
                s = self.mfr[i](xc[i])
            out.append(s)

        out = self.aggr(torch.cat(out, dim=1))
        # Feature modulation
        out = self.act(out) * x
        return out


if __name__ == "__main__":
    if __name__ == '__main__':
        # 定义输入张量大小(Batch、Channel、Height、Wight)
        B, C, H, W = 1, 64, 40, 40
        input_tensor = torch.randn(B, C, H, W)  # 随机生成输入张量
        # 初始化 SAFM
        dim = C  # 输入和输出通道数
        # 创建 SAFM 实例
        block = SAFM(dim=dim)
        # 如果GPU可用将模块移动到 GPU
        device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
        sablock = block.to(device)
        print(sablock)
        input_tensor = input_tensor.to(device)
        # 执行前向传播
        output = sablock(input_tensor)
        # 打印输入和输出的形状
        print(f"Input: {input_tensor.shape}")
        print(f"Output: {output.shape}")

输出结果:

相关推荐
阿坡RPA11 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户277844910499312 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心12 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI14 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c15 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20515 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清15 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh16 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员16 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物16 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技