Learning A Single Network for Scale-Arbitrary Super-Resolution

  • ICCV2021
  1. 问题引入
  • 现在的超分模型大多专门为固定整数scale的超分任务设计,本文提出一个可插拔模块,来利用一个模型来实现任意尺度的超分模型,包含non-integer(e.g., from 100 × 100 to 220 × 220) and asymmetric SR(100 × 100 to 220 × 420);
  • 实现方法是增加一个模块,模块有多个scale aware feature adaption block和scale aware upsampling layer组成,同时,conditional conv被用来生成scale aware filters;
  • 基于meta-sr的改进之作;
  1. 方法
  • 本文分析了不同scale SR之间的相互关系,方法是通过取各个特定尺度的模型,在相同的输入的情况下,取出相同层的feature map来计算相似度,相似度高的位置的特征可以直接被用来进行任意尺度的超分,而相似度低的地方只能用来做特定尺度的超分;
  • 首先本文提出的方法是可插拔的,所以是可以在现有的特定尺度超分模型的基础上添加本文提出的两个模块实现任意尺度的超分任务,基本模型如下图,其中在每几个backbone blocks之后插入scale aware feature adaption block,在最后使用scale aware usampling layer来进行任意尺度的上采样;
  • Scale-Aware Feature Adaption如图所示,其中scale aware convolution layer如下图所示,卷积的取得是使用scale作为条件的:
  • Scale-Aware Upsampling:之前的方法使用pixel shuffle的方法来实现特定整数尺度的上采样,此处泛化为scale aware upsampling layer,其图示如下:
  1. 实验
  • 数据:DIV2K dataset for train and Set5 [27], Set14 [28], B100 [29], Urban100 [30], and Manga109 for eval;
  • 指标:PSNR + SSIM;
相关推荐
程序员Linc14 分钟前
写给新人的深度学习扫盲贴:向量与矩阵
人工智能·深度学习·矩阵·向量
补三补四1 小时前
机器学习-聚类分析算法
人工智能·深度学习·算法·机器学习
荷包蛋蛋怪2 小时前
【北京化工大学】 神经网络与深度学习 实验6 MATAR图像分类
人工智能·深度学习·神经网络·opencv·机器学习·计算机视觉·分类
贤小二AI2 小时前
贤小二c#版Yolov5 yolov8 yolov10 yolov11自动标注工具 + 免python环境 GPU一键训练包
人工智能·深度学习·yolo
意.远2 小时前
在PyTorch中使用GPU加速:从基础操作到模型部署
人工智能·pytorch·python·深度学习
Uzuki8 小时前
AI可解释性 II | Saliency Maps-based 归因方法(Attribution)论文导读(持续更新)
深度学习·机器学习·可解释性
snowfoootball13 小时前
基于 Ollama DeepSeek、Dify RAG 和 Fay 框架的高考咨询 AI 交互系统项目方案
前端·人工智能·后端·python·深度学习·高考
odoo中国13 小时前
深度学习 Deep Learning 第15章 表示学习
人工智能·深度学习·学习·表示学习
橙色小博14 小时前
长短期记忆神经网络(LSTM)基础学习与实例:预测序列的未来
人工智能·python·深度学习·神经网络·lstm
船长@Quant14 小时前
PyTorch量化进阶教程:第六章 模型部署与生产化
pytorch·python·深度学习·transformer·量化交易·sklearn·ta-lib