Learning A Single Network for Scale-Arbitrary Super-Resolution

  • ICCV2021
  1. 问题引入
  • 现在的超分模型大多专门为固定整数scale的超分任务设计,本文提出一个可插拔模块,来利用一个模型来实现任意尺度的超分模型,包含non-integer(e.g., from 100 × 100 to 220 × 220) and asymmetric SR(100 × 100 to 220 × 420);
  • 实现方法是增加一个模块,模块有多个scale aware feature adaption block和scale aware upsampling layer组成,同时,conditional conv被用来生成scale aware filters;
  • 基于meta-sr的改进之作;
  1. 方法
  • 本文分析了不同scale SR之间的相互关系,方法是通过取各个特定尺度的模型,在相同的输入的情况下,取出相同层的feature map来计算相似度,相似度高的位置的特征可以直接被用来进行任意尺度的超分,而相似度低的地方只能用来做特定尺度的超分;
  • 首先本文提出的方法是可插拔的,所以是可以在现有的特定尺度超分模型的基础上添加本文提出的两个模块实现任意尺度的超分任务,基本模型如下图,其中在每几个backbone blocks之后插入scale aware feature adaption block,在最后使用scale aware usampling layer来进行任意尺度的上采样;
  • Scale-Aware Feature Adaption如图所示,其中scale aware convolution layer如下图所示,卷积的取得是使用scale作为条件的:
  • Scale-Aware Upsampling:之前的方法使用pixel shuffle的方法来实现特定整数尺度的上采样,此处泛化为scale aware upsampling layer,其图示如下:
  1. 实验
  • 数据:DIV2K dataset for train and Set5 [27], Set14 [28], B100 [29], Urban100 [30], and Manga109 for eval;
  • 指标:PSNR + SSIM;
相关推荐
Json_3 小时前
Vue 构造器 Vue.extend
前端·vue.js·深度学习
Json_3 小时前
Vue 实例方法
前端·vue.js·深度学习
mosquito_lover13 小时前
矿山边坡监测预警系统设计
人工智能·python·深度学习·神经网络·视觉检测
船长@Quant3 小时前
PyTorch量化进阶教程:第二章 Transformer 理论详解
pytorch·python·深度学习·transformer·量化交易·sklearn·ta-lib
Json_4 小时前
实例入门 实例属性
前端·深度学习
Json_4 小时前
JS中的apply和arguments小练习
前端·javascript·深度学习
Json_4 小时前
Vue Methods Option 方法选项
前端·vue.js·深度学习
Json_5 小时前
Vue v-bind指令
前端·vue.js·深度学习
Json_5 小时前
JS中的冒泡简洁理解
前端·javascript·深度学习
Json_5 小时前
Vue 自定义指令
前端·vue.js·深度学习