(开源)视频画面增强模型:Ev-DeblurVSR (可以解决视频画面不清晰的问题)

在计算机视觉领域,模糊视频超分辨率(BVSR)是一个复杂且具有挑战性的任务,目标是从低分辨率(LR)和模糊的输入生成高分辨率(HR)视频。传统方法常常因缺乏足够运动信息和高频细节而表现不佳。为了解决这些问题,研究人员开始探索创新方法,例如利用事件相机捕捉场景变化,而非依赖传统帧式图像。

Ev-DeblurVSR 是一个由中国科学技术大学的研究团队(包括 Dachun Kai、Yueyi Zhang、Jin Wang、Zeyu Xiao、Zhiwei Xiong 和 Xiaoyan Sun)开发的项目,于 2025 年 AAAI 会议上发表。该项目首次提出了一种事件增强的模糊视频超分辨率方案,旨在通过整合事件信号来提升视频质量。

方面 详情
项目名称 事件增强模糊视频超分辨率(Ev-DeblurVSR)
会议 AAAI 2025
论文 URL arXiv 页面
项目页面 URL https://dachunkai.github.io/ev-deblurvsr.github.io/
仓库 URL GitHub 仓库
作者 Dachun Kai, Yueyi Zhang, Jin Wang, Zeyu Xiao, Zhiwei Xiong, Xiaoyan Sun 戴淳凯,岳毅,王金,肖泽宇,熊志伟,孙晓燕
隶属机构 中国科学技术大学
发布日期 - 预训练模型和测试集:2025/04/17 - 视频演示:2025/01/07 - 仓库初始化:2024/12/15 - 论文接受:2024/12/09
使用数据集 - 合成:GoPro (GoPro 数据集), BSD (BSD 数据集) - 真实世界:NCER (NCER 数据集)
预训练模型 - EvDeblurVSR_GOPRO_BIx4.pth - EvDeblurVSR_BSD_BIx4.pth - EvDeblurVSR_NCER_BIx4.pth 下载:https://github.com/DachunKai/Ev-DeblurVSR 百度云 - EvDeblurVSR_GOPRO_BIx4.pth- EvDeblurVSR_BSD_BIx4.pth- EvDeblurVSR_NCER_BIx4.pth
测试集下载 百度云, Google Drive
缩放比例 4× SR 缩放
许可 Apache 2.0 (许可详情) Apache 2.0 协议()

效果1:

效果2:

演示视频地址1:

https://private-user-images.githubusercontent.com/66354783/434891513-0c030756-f2a0-4a9d-81a2-99943a0f881f.mp4?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NDU3OTY1ODUsIm5iZiI6MTc0NTc5NjI4NSwicGF0aCI6Ii82NjM1NDc4My80MzQ4OTE1MTMtMGMwMzA3NTYtZjJhMC00YTlkLTgxYTItOTk5NDNhMGY4ODFmLm1wND9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTA0MjclMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUwNDI3VDIzMjQ0NVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTI3ZTA5YzI2MTQ1OGM3NzhiNWUzNGIzNmUwNWYxZjJhMzdjYzkzNDFlMTAzNjY4ZmM2YTgwZWYzNjVkMzNiZGMmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.pmasai1aQoO1Dn4kK9S-KL-1RojT1ejuby8tdd6ZcsY

演示视频地址2:

https://private-user-images.githubusercontent.com/66354783/434891145-cb7c3a62-5927-4f5a-8aec-258d7e1d513e.mp4?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NDU3OTY1ODUsIm5iZiI6MTc0NTc5NjI4NSwicGF0aCI6Ii82NjM1NDc4My80MzQ4OTExNDUtY2I3YzNhNjItNTkyNy00ZjVhLThhZWMtMjU4ZDdlMWQ1MTNlLm1wND9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTA0MjclMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUwNDI3VDIzMjQ0NVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTFiOTQ2NTdlNDNlMzYzZTg1MzlhZGM2ZWFkNWNkYWI2NTBhZTY1MjQ2ZWFkNmU0OWE1ODhkNWVmNmJjM2MwMDgmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.K-fHJKlXLspFQSzMfXYaO_JiUsKncUrfEYWSS1dhJxA

技术细节

Ev-DeblurVSR 的核心创新在于其架构设计,具体包括两个模块:

互助特征去模糊(RFD)模块:该模块通过帧与帧内事件之间的相互作用,增强特征表示并改善去模糊效果。它通过双向信息流帮助解决模糊问题。

混合形变对齐(HDA)模块:该模块结合帧间事件和光流进行运动估计优化,通过形变对齐技术确保帧间的高精度匹配。

这些模块共同解决了传统 BVSR 方法中缺乏高频细节和运动信息的问题,显著提升了超分辨率质量。

性能与评估

该方法在多个数据集上进行了评估:

合成数据集:GoPro 和 BSD,分别从 GoPro 数据集 和 BSD 数据集 获取。

真实世界数据集:NCER,来源为 NCER 数据集。

性能指标显示,Ev-DeblurVSR 相较于之前的领先方法 FMA-Net,在以下数据集上取得了显著提升:

GoPro:+3.27dB

BSD:+2.88dB

NCER:+2.59dB

此外,在真实数据上的处理速度提高了 7.28 倍,体现了其在效率上的优势。

可用性与应用

Ev-DeblurVSR 的代码和预训练模型可在 GitHub 仓库 免费获取,仓库中还包括测试集下载链接(如 百度云 和 Google Drive)。该项目采用 Apache 2.0 许可,鼓励学术和工业界的进一步开发。

其潜在应用包括但不限于监控系统、自动驾驶和视频编辑等领域,尤其是在需要高品质视频增强的场景中。

相关工作与影响

Ev-DeblurVSR 构建于多个现有工作的基础上,包括 EvTexture (EvTexture 仓库), BasicSR (BasicSR 仓库), BasicVSR++ (BasicVSR++ 仓库), RAFT (RAFT 仓库), 和 event_utils (event_utils 仓库)。这些相关工作为其提供了技术基础和灵感。

该项目的发布日期包括预训练模型和测试集于 2025/04/17 发布,视频演示于 2025/01/07 发布,仓库初始化于 2024/12/15,论文接受于 2024/12/09,均与当前时间(2025 年 4 月 27 日,太平洋夏令时下午 4:01)一致。

结论

Ev-DeblurVSR 代表了模糊视频超分辨率领域的重要进展,通过整合事件信号,它有效解决了传统方法中的关键限制,并在性能和效率上设定了新基准。该工作为监控、自动驾驶等需要高品质视频增强的领域开辟了新的可能性。

相关推荐
双翌视觉1 小时前
工业AI视觉检测中的“小样本困境”
人工智能·计算机视觉·视觉检测
DXM05212 小时前
第9期|从机器学习到深度学习:AI遥感解译的进化逻辑
人工智能·算法·计算机视觉
tudoSearcher4 小时前
手机、平板、电脑同时控制Claude Code / Codex ?:Paseo实战指南
网络·开源·开源软件·个人开发·ai编程
lipku6 小时前
LiveTalking 更新:集成 vLLM-Omni TTS服务
python·开源·数字人·vllm·实时数字人
Par@ish6 小时前
关于开源GNU通用许可(GPLv3)详细解说
web安全·开源·开源协议
小白不白1117 小时前
Invoke的用法
开发语言·人工智能·数码相机·计算机视觉·c#
ZHW_AI课题组8 小时前
利用DeepLab在PascalVOC数据集中实现简单物体的多类别分割
人工智能·计算机视觉
CV-deeplearning8 小时前
NVIDIA CV-CUDA:GPU 全流程加速计算机视觉,pip 一键安装替代 OpenCV,微软/腾讯/百度/字节全在用,云级图像处理吞吐量飙升 10 倍
opencv·计算机视觉·pip·nvidia·cuda·gpu加速·cv-cuda
Together_CZ8 小时前
OpenCV 5.0 重磅发布:全面技术深度解析
图像处理·人工智能·opencv·计算机视觉·llm·dnn·推理