文章目录
- 一、摘要
- 二、新数据的提出
-
- [2.1 现象（问题）](#2.1 现象（问题）)
- [2.2 解决方式](#2.2 解决方式)
- 三、Method
-
- [3.1 现象（问题）](#3.1 现象（问题）)
- [3.2 解决方案](#3.2 解决方案)
- 四、实验设置
-
- [4.1 损失函数](#4.1 损失函数)
- 总结贡献
论文全称：Benchmark Dataset and Effective Inter-Frame Alignment for Real-World Video Super-Resolution
代码路径： https://github.com/HITRainer/EAVSR
更多RealWolrd VSR整理在 https://github.com/qianx77/Video_Super_Resolution_Ref
一、摘要
视频超分辨率（VSR）旨在从低分辨率（LR）视频重建高分辨率（HR）视频，近年来取得了巨大进展。然而，将现有的超分辨率视频重建方法应用于具有复杂退化的真实世界数据仍然具有挑战性。
1、一方面，现有的与实际情况高度对齐的超分辨率视频重建（VSR）数据集较少，尤其是具有较大超分辨率缩放因子的，这限制了实际超分辨率视频重建任务的发展。
2、另一方面，现有视频超分辨率方法中的对齐算法在处理真实世界的视频时表现不佳，导致结果不尽如人意。
为了应对上述问题，
1、我们构建了一个现实世界的×4 VSR数据集，即MVSR4×，该数据集由不同焦距镜头的智能手机分别捕获的低分辨率和高分辨率视频组成。
2、此外，我们提出了一种针对现实世界视频超分辨率（VSR）的有效对齐方法，即EAVSR。EAVSR采用所提出的多层自适应空间变换网络（MultiAdaSTN）来优化由预训练光流估计网络提供的偏移量。
在RealVSR和MVSR4×数据集上的实验结果显示了我们方法的有效性和实用性，并且我们在真实世界的VSR任务中达到了最先进的性能。数据集和代码将可在 https://github.com/HITRainer/EAVSR 获取。
二、新数据的提出
2.1 现象（问题）
现有的VSR方法大部分都是在合成数据上进行训练，现有real-world配对数据集存在一些问题。
VideoLQ没有GT，RealMCVSR没有对齐，RealVSR放大倍数太小，退化微弱。
2.2 解决方式
使用Huawei P50 Pro采集新的配对数据，整体采集流程图：
1、同时采集短焦镜头和长焦镜头的视频，得益于相机引擎提供的双视图视频函数，可以直接获得时间同步的视频数据。
2、将LR进行裁剪，可以去除畸变区域
3、利用RealSR的对齐算法[1]以迭代方式校正低分辨率图像的空间位置和颜色。
4、最后获得200个高质量的配对序列数据，每个序列包含100帧，分辨率是1080P，采集帧率为30fps，视频包括缓慢和快速的运动、明亮和阴暗的场景、室内和室外的场景等多样的内容。
三、Method
3.1 现象（问题）
VSR整体流程包含四个模块 --编码、对齐、重建、上采样。重建过程中使用到的h是使用当前帧以及上一帧warp特征得到的。文中使用的是双向二阶网格的时序传播方案（select bidirectional and secondorder grid）
这个过程中对齐步骤是非常重要的，这是其他帧对当前帧的影响，当前对齐方法一般是光流或者可变形卷积，但是光流在真实世界数据中有时候会给出不正确结果，可变形卷积的训练不稳定，作者想找到更高效的对齐方法
3.2 解决方案
提出了一种多层自适应空间变换网络（MultiAdaSTN），用于优化由预训练光流网络提供的帧间偏移。这个结构包含ResflowNet 和 DeformNet
ResflowNet
是图5的左半部分，目的是从粗到细的矫正光流，
具体为：
1、首先使用预训练光流模型计算上一帧和当前帧的光流信息
2、在光流信息下采样n次，得到不同尺度的光流信息，图中取l=3，可以称为基本光流信息fai.
3、每一个尺度的光流是由当前尺度的基本光流信息和下一个尺度的残差光流上采样相加得到，即fai + Δfai
4、其中Δfai的计算是由上一个尺度warp上一帧的特征后两个特征经过AdaSTN获得的，所以称为残差光流
5、随着尺度原来越多，这个残差是一个累加的状态，包含当前帧计算的残差和上一个尺度计算的残差上采样
DeformNet
由于ResflowNet 所有通道保持同样的offset，以及没有处理边界，所有在第二步DeformNet考虑了这一块，并增加mask分支，解决这一个问题
四、实验设置
4.1 损失函数
像素损失，但是需要对GT(y)做些处理
1、引导滤波将y颜色通道变成和x一样
2、光流（PWC-Net）将y进行扭曲
3、最终损失函数
其中m是光流计算的越界掩码。
总结贡献
1、提出新数据集MVSR4X
2、帧间对齐策略MultiAdaSTN