(开源)视频画面增强模型:Ev-DeblurVSR (可以解决视频画面不清晰的问题)

在计算机视觉领域,模糊视频超分辨率(BVSR)是一个复杂且具有挑战性的任务,目标是从低分辨率(LR)和模糊的输入生成高分辨率(HR)视频。传统方法常常因缺乏足够运动信息和高频细节而表现不佳。为了解决这些问题,研究人员开始探索创新方法,例如利用事件相机捕捉场景变化,而非依赖传统帧式图像。

Ev-DeblurVSR 是一个由中国科学技术大学的研究团队(包括 Dachun Kai、Yueyi Zhang、Jin Wang、Zeyu Xiao、Zhiwei Xiong 和 Xiaoyan Sun)开发的项目,于 2025 年 AAAI 会议上发表。该项目首次提出了一种事件增强的模糊视频超分辨率方案,旨在通过整合事件信号来提升视频质量。

方面 详情
项目名称 事件增强模糊视频超分辨率(Ev-DeblurVSR)
会议 AAAI 2025
论文 URL arXiv 页面
项目页面 URL https://dachunkai.github.io/ev-deblurvsr.github.io/
仓库 URL GitHub 仓库
作者 Dachun Kai, Yueyi Zhang, Jin Wang, Zeyu Xiao, Zhiwei Xiong, Xiaoyan Sun 戴淳凯,岳毅,王金,肖泽宇,熊志伟,孙晓燕
隶属机构 中国科学技术大学
发布日期 - 预训练模型和测试集:2025/04/17 - 视频演示:2025/01/07 - 仓库初始化:2024/12/15 - 论文接受:2024/12/09
使用数据集 - 合成:GoPro (GoPro 数据集), BSD (BSD 数据集) - 真实世界:NCER (NCER 数据集)
预训练模型 - EvDeblurVSR_GOPRO_BIx4.pth - EvDeblurVSR_BSD_BIx4.pth - EvDeblurVSR_NCER_BIx4.pth 下载:https://github.com/DachunKai/Ev-DeblurVSR 百度云 - EvDeblurVSR_GOPRO_BIx4.pth- EvDeblurVSR_BSD_BIx4.pth- EvDeblurVSR_NCER_BIx4.pth
测试集下载 百度云, Google Drive
缩放比例 4× SR 缩放
许可 Apache 2.0 (许可详情) Apache 2.0 协议()

效果1:

效果2:

演示视频地址1:

https://private-user-images.githubusercontent.com/66354783/434891513-0c030756-f2a0-4a9d-81a2-99943a0f881f.mp4?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NDU3OTY1ODUsIm5iZiI6MTc0NTc5NjI4NSwicGF0aCI6Ii82NjM1NDc4My80MzQ4OTE1MTMtMGMwMzA3NTYtZjJhMC00YTlkLTgxYTItOTk5NDNhMGY4ODFmLm1wND9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTA0MjclMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUwNDI3VDIzMjQ0NVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTI3ZTA5YzI2MTQ1OGM3NzhiNWUzNGIzNmUwNWYxZjJhMzdjYzkzNDFlMTAzNjY4ZmM2YTgwZWYzNjVkMzNiZGMmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.pmasai1aQoO1Dn4kK9S-KL-1RojT1ejuby8tdd6ZcsY

演示视频地址2:

https://private-user-images.githubusercontent.com/66354783/434891145-cb7c3a62-5927-4f5a-8aec-258d7e1d513e.mp4?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NDU3OTY1ODUsIm5iZiI6MTc0NTc5NjI4NSwicGF0aCI6Ii82NjM1NDc4My80MzQ4OTExNDUtY2I3YzNhNjItNTkyNy00ZjVhLThhZWMtMjU4ZDdlMWQ1MTNlLm1wND9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTA0MjclMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUwNDI3VDIzMjQ0NVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTFiOTQ2NTdlNDNlMzYzZTg1MzlhZGM2ZWFkNWNkYWI2NTBhZTY1MjQ2ZWFkNmU0OWE1ODhkNWVmNmJjM2MwMDgmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.K-fHJKlXLspFQSzMfXYaO_JiUsKncUrfEYWSS1dhJxA

技术细节

Ev-DeblurVSR 的核心创新在于其架构设计,具体包括两个模块:

互助特征去模糊(RFD)模块:该模块通过帧与帧内事件之间的相互作用,增强特征表示并改善去模糊效果。它通过双向信息流帮助解决模糊问题。

混合形变对齐(HDA)模块:该模块结合帧间事件和光流进行运动估计优化,通过形变对齐技术确保帧间的高精度匹配。

这些模块共同解决了传统 BVSR 方法中缺乏高频细节和运动信息的问题,显著提升了超分辨率质量。

性能与评估

该方法在多个数据集上进行了评估:

合成数据集:GoPro 和 BSD,分别从 GoPro 数据集 和 BSD 数据集 获取。

真实世界数据集:NCER,来源为 NCER 数据集。

性能指标显示,Ev-DeblurVSR 相较于之前的领先方法 FMA-Net,在以下数据集上取得了显著提升:

GoPro:+3.27dB

BSD:+2.88dB

NCER:+2.59dB

此外,在真实数据上的处理速度提高了 7.28 倍,体现了其在效率上的优势。

可用性与应用

Ev-DeblurVSR 的代码和预训练模型可在 GitHub 仓库 免费获取,仓库中还包括测试集下载链接(如 百度云 和 Google Drive)。该项目采用 Apache 2.0 许可,鼓励学术和工业界的进一步开发。

其潜在应用包括但不限于监控系统、自动驾驶和视频编辑等领域,尤其是在需要高品质视频增强的场景中。

相关工作与影响

Ev-DeblurVSR 构建于多个现有工作的基础上,包括 EvTexture (EvTexture 仓库), BasicSR (BasicSR 仓库), BasicVSR++ (BasicVSR++ 仓库), RAFT (RAFT 仓库), 和 event_utils (event_utils 仓库)。这些相关工作为其提供了技术基础和灵感。

该项目的发布日期包括预训练模型和测试集于 2025/04/17 发布,视频演示于 2025/01/07 发布,仓库初始化于 2024/12/15,论文接受于 2024/12/09,均与当前时间(2025 年 4 月 27 日,太平洋夏令时下午 4:01)一致。

结论

Ev-DeblurVSR 代表了模糊视频超分辨率领域的重要进展,通过整合事件信号,它有效解决了传统方法中的关键限制,并在性能和效率上设定了新基准。该工作为监控、自动驾驶等需要高品质视频增强的领域开辟了新的可能性。

相关推荐
DevSecOps选型指南2 小时前
2025软件供应链安全最佳实践︱证券DevSecOps下供应链与开源治理实践
网络·安全·web安全·开源·代码审计·软件供应链安全
不爱写代码的玉子3 小时前
HALCON透视矩阵
人工智能·深度学习·线性代数·算法·计算机视觉·矩阵·c#
sbc-study4 小时前
PCDF (Progressive Continuous Discrimination Filter)模块构建
人工智能·深度学习·计算机视觉
EasonZzzzzzz4 小时前
计算机视觉——相机标定
人工智能·数码相机·计算机视觉
春末的南方城市4 小时前
港科大&快手提出统一上下文视频编辑 UNIC,各种视频编辑任务一网打尽,还可进行多项任务组合!
人工智能·计算机视觉·stable diffusion·aigc·transformer
且慢.5896 小时前
Python_day47
python·深度学习·计算机视觉
草梅友仁6 小时前
AI 图片文字翻译与视频字幕翻译工具推荐 | 2025 年第 23 周草梅周报
开源·github·aigc
Unpredictable2227 小时前
【VINS-Mono算法深度解析:边缘化策略、初始化与关键技术】
c++·笔记·算法·ubuntu·计算机视觉
心随_风动10 小时前
SUSE Linux 发行版全面解析:从开源先驱到企业级支柱
linux·运维·开源
PythonFun10 小时前
DeepSeek-R1-0528:开源推理模型的革新与突破
语言模型·开源