Learning A Single Network for Scale-Arbitrary Super-Resolution

  • ICCV2021
  1. 问题引入
  • 现在的超分模型大多专门为固定整数scale的超分任务设计,本文提出一个可插拔模块,来利用一个模型来实现任意尺度的超分模型,包含non-integer(e.g., from 100 × 100 to 220 × 220) and asymmetric SR(100 × 100 to 220 × 420);
  • 实现方法是增加一个模块,模块有多个scale aware feature adaption block和scale aware upsampling layer组成,同时,conditional conv被用来生成scale aware filters;
  • 基于meta-sr的改进之作;
  1. 方法
  • 本文分析了不同scale SR之间的相互关系,方法是通过取各个特定尺度的模型,在相同的输入的情况下,取出相同层的feature map来计算相似度,相似度高的位置的特征可以直接被用来进行任意尺度的超分,而相似度低的地方只能用来做特定尺度的超分;
  • 首先本文提出的方法是可插拔的,所以是可以在现有的特定尺度超分模型的基础上添加本文提出的两个模块实现任意尺度的超分任务,基本模型如下图,其中在每几个backbone blocks之后插入scale aware feature adaption block,在最后使用scale aware usampling layer来进行任意尺度的上采样;
  • Scale-Aware Feature Adaption如图所示,其中scale aware convolution layer如下图所示,卷积的取得是使用scale作为条件的:
  • Scale-Aware Upsampling:之前的方法使用pixel shuffle的方法来实现特定整数尺度的上采样,此处泛化为scale aware upsampling layer,其图示如下:
  1. 实验
  • 数据:DIV2K dataset for train and Set5 [27], Set14 [28], B100 [29], Urban100 [30], and Manga109 for eval;
  • 指标:PSNR + SSIM;
相关推荐
旧故新长3 分钟前
支持Function Call的本地ollama模型对比评测-》开发代理agent
人工智能·深度学习·机器学习
微学AI16 分钟前
融合注意力机制和BiGRU的电力领域发电量预测项目研究,并给出相关代码
人工智能·深度学习·自然语言处理·注意力机制·bigru
知来者逆27 分钟前
计算机视觉——速度与精度的完美结合的实时目标检测算法RF-DETR详解
图像处理·人工智能·深度学习·算法·目标检测·计算机视觉·rf-detr
每天都要写算法(努力版)2 小时前
【神经网络与深度学习】训练集与验证集的功能解析与差异探究
人工智能·深度学习·神经网络
BB_CC_DD2 小时前
四. 以Annoy算法建树的方式聚类清洗图像数据集,一次建树,无限次聚类搜索,提升聚类搜索效率。(附完整代码)
深度学习·算法·聚类
Blossom.1183 小时前
人工智能在智能家居中的应用与发展
人工智能·深度学习·机器学习·智能家居·vr·虚拟现实·多模态融合
HyperAI超神经3 小时前
12个HPC教程汇总!从入门到实战,覆盖分子模拟/材料计算/生物信息分析等多个领域
图像处理·人工智能·深度学习·生物信息·分子模拟·材料计算·vasp
进来有惊喜4 小时前
深度学习:迁移学习
python·深度学习
豆芽8194 小时前
图解YOLO(You Only Look Once)目标检测(v1-v5)
人工智能·深度学习·学习·yolo·目标检测·计算机视觉
北上ing5 小时前
从FP32到BF16,再到混合精度的全景解析
人工智能·pytorch·深度学习·计算机视觉·stable diffusion