Learning A Single Network for Scale-Arbitrary Super-Resolution

  • ICCV2021
  1. 问题引入
  • 现在的超分模型大多专门为固定整数scale的超分任务设计,本文提出一个可插拔模块,来利用一个模型来实现任意尺度的超分模型,包含non-integer(e.g., from 100 × 100 to 220 × 220) and asymmetric SR(100 × 100 to 220 × 420);
  • 实现方法是增加一个模块,模块有多个scale aware feature adaption block和scale aware upsampling layer组成,同时,conditional conv被用来生成scale aware filters;
  • 基于meta-sr的改进之作;
  1. 方法
  • 本文分析了不同scale SR之间的相互关系,方法是通过取各个特定尺度的模型,在相同的输入的情况下,取出相同层的feature map来计算相似度,相似度高的位置的特征可以直接被用来进行任意尺度的超分,而相似度低的地方只能用来做特定尺度的超分;
  • 首先本文提出的方法是可插拔的,所以是可以在现有的特定尺度超分模型的基础上添加本文提出的两个模块实现任意尺度的超分任务,基本模型如下图,其中在每几个backbone blocks之后插入scale aware feature adaption block,在最后使用scale aware usampling layer来进行任意尺度的上采样;
  • Scale-Aware Feature Adaption如图所示,其中scale aware convolution layer如下图所示,卷积的取得是使用scale作为条件的:
  • Scale-Aware Upsampling:之前的方法使用pixel shuffle的方法来实现特定整数尺度的上采样,此处泛化为scale aware upsampling layer,其图示如下:
  1. 实验
  • 数据:DIV2K dataset for train and Set5 [27], Set14 [28], B100 [29], Urban100 [30], and Manga109 for eval;
  • 指标:PSNR + SSIM;
相关推荐
Liudef061 小时前
三维点云Transformer局部感受野构建:理论、方法与挑战
人工智能·深度学习·transformer
一百天成为python专家2 小时前
python库之jieba 库
开发语言·人工智能·python·深度学习·机器学习·pycharm·python3.11
Blossom.1182 小时前
用一张“冰裂纹”石墨烯薄膜,让被动散热也能做 AI 推理——基于亚波长裂纹等离激元的零功耗温度-逻辑门
人工智能·深度学习·神经网络·目标检测·机器学习·机器人·语音识别
cylat2 小时前
Day59 经典时序预测模型3
人工智能·python·深度学习·神经网络
禺垣3 小时前
扩散模型(Diffusion Model)原理概述
深度学习
kyle~4 小时前
Opencv---深度学习开发
人工智能·深度学习·opencv·计算机视觉·机器人
运器1234 小时前
【一起来学AI大模型】PyTorch DataLoader 实战指南
大数据·人工智能·pytorch·python·深度学习·ai·ai编程
帅次4 小时前
系统分析师-计算机系统-输入输出系统
人工智能·分布式·深度学习·神经网络·架构·系统架构·硬件架构
AndrewHZ5 小时前
【图像处理基石】如何入门大规模三维重建?
人工智能·深度学习·大模型·llm·三维重建·立体视觉·大规模三维重建
AI街潜水的八角6 小时前
深度学习图像分类数据集—五种电器识别分类
人工智能·深度学习·分类