CVPR2023新作:基于组合空时位移的视频修复

  1. Title: A Simple Baseline for Video Restoration With Grouped Spatial-Temporal Shift (视频修复的简单基准:组合空时位移)

  2. Affiliation: CUHK MMLab (香港中文大学多媒体实验室)

  3. Authors: Dasong Li, Xiaoyu Shi, Yi Zhang, Ka Chun Cheung, Simon See, Xiaogang Wang, Hongwei Qin, Hongsheng Li

  4. Keywords: video restoration, inter-frame information, deep learning, spatial-temporal shift, effective receptive field

  5. Summary:

  • (1): 该文章研究视频修复,
  • (2): 过去的方法通常依赖于复杂的网络架构,例如:光流估计,可变形卷积和跨帧自注意力,这些方法会带来高额的计算成本。而本文提出的轻量级框架------基于组合空时位移的方法,能够隐含地捕捉多帧间的对应关系,并且可以扩展有效的感受野,同时使用基本的二维卷积聚合不同帧间的信息,相对于之前的方法可节约75%的计算成本。
  • (3): 该算法的核心是组合空时位移块,可以有效地实现大尺度的有效感受野。
  • (4): 在视频去模糊和视频降噪两个任务上,该方法均表现优于之前的最先进方法,证明了该方法可以在保持高质量结果的同时大大减少计算开销。
  1. Methods:
  • (1): 本文提出了一种轻量级的视频修复框架,利用组合空时位移块来捕捉多帧间的对应关系,并扩展有效感受野。其中,组合空时位移块通过局部位移和空间注意机制对输入进行建模,并通过平均池化和最大池化来聚合特征,并利用反卷积恢复图像细节。

  • (2): 该算法分为两个关键步骤:(i) 异质帧间信息聚合;(ii) 异质帧间信息修改。其中,第一步采用组合空时位移块实现,可以有效地扩展有效感受野;第二步则通过反卷积层实现。

  • (3): 文中提到,该方法可以节省75%的计算成本。实验结果表明,该算法在视频去模糊和视频降噪两个任务上均优于之前的最先进方法,证明了该方法的有效性和实用性。

  1. Conclusion:
  • (1): 本文提出了一种简单而有效的视频修复框架。通过引入轻量级的组合空时位移块,该方法可以隐含地捕捉多帧间的对应关系,同时扩展有效的感受野,大大减少计算成本。该方法在视频去模糊和降噪任务上具有更好的表现。
  • (2): 创新点:通过组合空时位移块实现了多帧间对应关系的建模,扩展了有效感受野,优化了计算成本。性能:在视频去模糊和降噪任务上表现优于之前最先进的方法。工作负荷:可以节省75%的计算成本。
相关推荐
AI蜗牛之家3 小时前
Qwen系列之Qwen3解读:最强开源模型的细节拆解
人工智能·python
王上上3 小时前
【论文阅读30】Bi-LSTM(2024)
论文阅读·人工智能·lstm
殇者知忧3 小时前
【论文笔记】若干矿井粉尘检测算法概述
深度学习·神经网络·算法·随机森林·机器学习·支持向量机·计算机视觉
YunTM4 小时前
贝叶斯优化+LSTM+时序预测=Nature子刊!
人工智能·机器学习
时间之里5 小时前
【图像处理3D】:焦距的像素单位标定
图像处理·数码相机·3d
舒一笑5 小时前
智能体革命:企业如何构建自主决策的AI代理?
人工智能
丁先生qaq6 小时前
热成像实例分割电力设备数据集(3类,838张)
人工智能·计算机视觉·目标跟踪·数据集
红衣小蛇妖6 小时前
神经网络-Day45
人工智能·深度学习·神经网络
JoannaJuanCV6 小时前
BEV和OCC学习-5:数据预处理流程
深度学习·目标检测·3d·occ·bev
KKKlucifer6 小时前
当AI遇上防火墙:新一代智能安全解决方案全景解析
人工智能