ECCV 2024 | 加速图像超分辨率网络的像素级分类

题目：Accelerating Image Super-Resolution Networks with Pixel-Level Classification

加速图像超分辨率网络的像素级分类

作者：Jinho Jeong, Jinwoo Kim, Younghyun Jo, Seon Joo Kim

论文链接：https://arxiv.org/abs/2407.21448

源码链接：https://github.com/3587jjh/PCSR

论文创新点

像素级分类器（Pixel-level Classifier） ：作者提出了一种名为单图像超分辨率的像素级分类器（PCSR）的新方法，这种方法能够在像素级别动态分配计算资源，与传统的基于块的方法相比，能够更精细地处理图像中不同区域的恢复难度。
自适应资源分配 ：PCSR模型包括一个主干网络、一个像素级分类器和一组不同容量的像素级上采样器。这种方法允许在推理过程中在性能和计算成本之间进行平衡，而无需重新训练。
多尺度超分辨率（Multi-scale Super-Resolution）：利用LIIF作为上采样器，PCSR模型能够适应不同的尺度因子，这意味着只需要一个模型就能处理多种尺度的超分辨率任务，这与传统方法需要为每个尺度因子单独建模相比，是一个显著的优势。

摘要

近年来，对于有效的超分辨率（SR）技术的需求激增，尤其是对于从2K到8K分辨率的大规模图像。对于基于深度神经网络（DNN）的单图像超分辨率（SISR），由于计算限制，通常需要将图像分解成重叠的块。在这样的块分解方案中，可以根据每个块的难度不同分配计算资源以进一步提高效率，同时保持SR性能。然而，这种方法有一个局限性：在块内均匀分配计算资源，导致包含不同恢复难度像素的块效率降低。为了解决这个问题，我们提出了一种新的方法，称为单图像超分辨率的像素级分类器（PCSR），它旨在自适应地在像素级别分配计算资源。PCSR模型包括一个主干网络、一个像素级分类器和一组不同容量的像素级上采样器。像素级分类器根据其恢复难度将每个像素分配给适当的上采样器，从而优化计算资源的使用。我们的方法允许在推理过程中在性能和计算成本之间平衡，而无需重新训练。我们的实验表明，PCSR在不同背景模型和基准测试中的PSNR-FLOP权衡方面比现有的块分配方法具有优势。