ECCV 2024 | 加速图像超分辨率网络的像素级分类

题目:Accelerating Image Super-Resolution Networks with Pixel-Level Classification
加速图像超分辨率网络的像素级分类
作者:Jinho Jeong, Jinwoo Kim, Younghyun Jo, Seon Joo Kim
论文链接:https://arxiv.org/abs/2407.21448
源码链接:https://github.com/3587jjh/PCSR

论文创新点

  1. 像素级分类器(Pixel-level Classifier) :作者提出了一种名为单图像超分辨率的像素级分类器(PCSR)的新方法,这种方法能够在像素级别动态分配计算资源,与传统的基于块的方法相比,能够更精细地处理图像中不同区域的恢复难度。

  2. 自适应资源分配 :PCSR模型包括一个主干网络、一个像素级分类器和一组不同容量的像素级上采样器。这种方法允许在推理过程中在性能和计算成本之间进行平衡,而无需重新训练

  3. 多尺度超分辨率(Multi-scale Super-Resolution):利用LIIF作为上采样器,PCSR模型能够适应不同的尺度因子,这意味着只需要一个模型就能处理多种尺度的超分辨率任务,这与传统方法需要为每个尺度因子单独建模相比,是一个显著的优势。

摘要

近年来,对于有效的超分辨率(SR)技术的需求激增,尤其是对于从2K到8K分辨率的大规模图像。对于基于深度神经网络(DNN)的单图像超分辨率(SISR),由于计算限制,通常需要将图像分解成重叠的块。在这样的块分解方案中,可以根据每个块的难度不同分配计算资源以进一步提高效率,同时保持SR性能。然而,这种方法有一个局限性:在块内均匀分配计算资源,导致包含不同恢复难度像素的块效率降低。为了解决这个问题,我们提出了一种新的方法,称为单图像超分辨率的像素级分类器(PCSR),它旨在自适应地在像素级别分配计算资源。PCSR模型包括一个主干网络、一个像素级分类器和一组不同容量的像素级上采样器。像素级分类器根据其恢复难度将每个像素分配给适当的上采样器,从而优化计算资源的使用。我们的方法允许在推理过程中在性能和计算成本之间平衡,而无需重新训练。我们的实验表明,PCSR在不同背景模型和基准测试中的PSNR-FLOP权衡方面比现有的块分配方法具有优势。

关键词

图像超分辨率、深度学习、像素级分类、计算资源分配

3. 方法

3.1 网络架构

PCSR的概述如图3所示。基于我们之前的讨论,模型由主干网络和一组上采样器组成。此外,我们采用了一个分类器,用于测量HR空间中目标像素的恢复难度。LR输入图像被前馈到主干网络并生成相应的LR特征图。然后,分类器确定每个查询像素的恢复难度,并通过相应的上采样器计算其输出RGB值。

主干网络

我们提出了一种用于高效大图像SR的逐像素计算分配方法。可以使用任何现有的深度SR网络作为我们的主干网络,以适应所需的模型大小。例如,小尺寸的FSRCNN、中等尺寸的CARN、大尺寸的SRResNet,以及其他模型也可以采用。

分类器
上采样器

3.2 训练

4. 实验

相关推荐
欣然~9 分钟前
借助 OpenCV 和 PyTorch 库,利用卷积神经网络提取图像边缘特征
人工智能·计算机视觉
白熊1881 小时前
【计算机视觉】CV实战项目 - 基于YOLOv5的人脸检测与关键点定位系统深度解析
人工智能·yolo·计算机视觉
nenchoumi31191 小时前
VLA 论文精读(十六)FP3: A 3D Foundation Policy for Robotic Manipulation
论文阅读·人工智能·笔记·学习·vln
后端小肥肠1 小时前
文案号搞钱潜规则:日入四位数的Coze工作流我跑通了
人工智能·coze
LCHub低代码社区1 小时前
钧瓷产业原始创新的许昌共识:技术破壁·产业再造·生态重构(一)
大数据·人工智能·维格云·ai智能体·ai自动化·大禹智库·钧瓷码
-曾牛1 小时前
Spring AI 快速入门:从环境搭建到核心组件集成
java·人工智能·spring·ai·大模型·spring ai·开发环境搭建
阿川20151 小时前
云智融合普惠大模型AI,政务服务重构数智化路径
人工智能·华为云·政务·deepseek
自由鬼2 小时前
开源AI开发工具:OpenAI Codex CLI
人工智能·ai·开源·软件构建·开源软件·个人开发
生信碱移2 小时前
大语言模型时代,单细胞注释也需要集思广益(mLLMCelltype)
人工智能·经验分享·深度学习·语言模型·自然语言处理·数据挖掘·数据可视化
88号技师2 小时前
【1区SCI】Fusion entropy融合熵,多尺度,复合多尺度、时移多尺度、层次 + 故障识别、诊断-matlab代码
开发语言·机器学习·matlab·时序分析·故障诊断·信息熵·特征提取