Learning A Single Network for Scale-Arbitrary Super-Resolution

  • ICCV2021
  1. 问题引入
  • 现在的超分模型大多专门为固定整数scale的超分任务设计,本文提出一个可插拔模块,来利用一个模型来实现任意尺度的超分模型,包含non-integer(e.g., from 100 × 100 to 220 × 220) and asymmetric SR(100 × 100 to 220 × 420);
  • 实现方法是增加一个模块,模块有多个scale aware feature adaption block和scale aware upsampling layer组成,同时,conditional conv被用来生成scale aware filters;
  • 基于meta-sr的改进之作;
  1. 方法
  • 本文分析了不同scale SR之间的相互关系,方法是通过取各个特定尺度的模型,在相同的输入的情况下,取出相同层的feature map来计算相似度,相似度高的位置的特征可以直接被用来进行任意尺度的超分,而相似度低的地方只能用来做特定尺度的超分;
  • 首先本文提出的方法是可插拔的,所以是可以在现有的特定尺度超分模型的基础上添加本文提出的两个模块实现任意尺度的超分任务,基本模型如下图,其中在每几个backbone blocks之后插入scale aware feature adaption block,在最后使用scale aware usampling layer来进行任意尺度的上采样;
  • Scale-Aware Feature Adaption如图所示,其中scale aware convolution layer如下图所示,卷积的取得是使用scale作为条件的:
  • Scale-Aware Upsampling:之前的方法使用pixel shuffle的方法来实现特定整数尺度的上采样,此处泛化为scale aware upsampling layer,其图示如下:
  1. 实验
  • 数据:DIV2K dataset for train and Set5 [27], Set14 [28], B100 [29], Urban100 [30], and Manga109 for eval;
  • 指标:PSNR + SSIM;
相关推荐
START_GAME4 小时前
深度学习Diffusers:用 DiffusionPipeline 实现图像生成
开发语言·python·深度学习
wperseverance7 小时前
Pytorch常用层总结
深度学习·机器学习
小殊小殊7 小时前
【论文笔记】LTX-Video极致速度的视频生成模型
图像处理·人工智能·深度学习
性感博主在线瞎搞8 小时前
【人工智能】神经网络的优化器optimizer(四):Adam自适应动量优化器
人工智能·深度学习·神经网络·性能优化·优化器
paid槮8 小时前
深度学习复习汇总
人工智能·深度学习
Light609 小时前
深度学习 × 计算机视觉 × Kaggle(上):从理论殿堂起步 ——像素、特征与模型的进化之路
人工智能·深度学习·计算机视觉·卷积神经网络·transformer·特征学习
机器学习之心9 小时前
未发表,三大创新!OCSSA-VMD-Transformer-Adaboost特征提取+编码器+集成学习轴承故障诊断
深度学习·transformer·集成学习·ocssa-vmd
大千AI助手9 小时前
GELU(高斯误差线性单元)激活函数全面解析
人工智能·深度学习·神经网络·激活函数·正态分布·gelu·高斯误差线性单元
Ai1731639157911 小时前
英伟达RTX 6000 Ada 和L40S 对比,哪个更适合做深度学习?
图像处理·人工智能·gpt·深度学习·神经网络·机器学习·电脑
哥布林学者11 小时前
吴恩达深度学习课程一:神经网络和深度学习 第四周:深度神经网络的关键概念
深度学习·ai