(开源)视频画面增强模型:Ev-DeblurVSR (可以解决视频画面不清晰的问题)

在计算机视觉领域,模糊视频超分辨率(BVSR)是一个复杂且具有挑战性的任务,目标是从低分辨率(LR)和模糊的输入生成高分辨率(HR)视频。传统方法常常因缺乏足够运动信息和高频细节而表现不佳。为了解决这些问题,研究人员开始探索创新方法,例如利用事件相机捕捉场景变化,而非依赖传统帧式图像。

Ev-DeblurVSR 是一个由中国科学技术大学的研究团队(包括 Dachun Kai、Yueyi Zhang、Jin Wang、Zeyu Xiao、Zhiwei Xiong 和 Xiaoyan Sun)开发的项目,于 2025 年 AAAI 会议上发表。该项目首次提出了一种事件增强的模糊视频超分辨率方案,旨在通过整合事件信号来提升视频质量。

方面 详情
项目名称 事件增强模糊视频超分辨率(Ev-DeblurVSR)
会议 AAAI 2025
论文 URL arXiv 页面
项目页面 URL https://dachunkai.github.io/ev-deblurvsr.github.io/
仓库 URL GitHub 仓库
作者 Dachun Kai, Yueyi Zhang, Jin Wang, Zeyu Xiao, Zhiwei Xiong, Xiaoyan Sun 戴淳凯,岳毅,王金,肖泽宇,熊志伟,孙晓燕
隶属机构 中国科学技术大学
发布日期 - 预训练模型和测试集:2025/04/17 - 视频演示:2025/01/07 - 仓库初始化:2024/12/15 - 论文接受:2024/12/09
使用数据集 - 合成:GoPro (GoPro 数据集), BSD (BSD 数据集) - 真实世界:NCER (NCER 数据集)
预训练模型 - EvDeblurVSR_GOPRO_BIx4.pth - EvDeblurVSR_BSD_BIx4.pth - EvDeblurVSR_NCER_BIx4.pth 下载:https://github.com/DachunKai/Ev-DeblurVSR 百度云 - EvDeblurVSR_GOPRO_BIx4.pth- EvDeblurVSR_BSD_BIx4.pth- EvDeblurVSR_NCER_BIx4.pth
测试集下载 百度云, Google Drive
缩放比例 4× SR 缩放
许可 Apache 2.0 (许可详情) Apache 2.0 协议()

效果1:

效果2:

演示视频地址1:

https://private-user-images.githubusercontent.com/66354783/434891513-0c030756-f2a0-4a9d-81a2-99943a0f881f.mp4?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NDU3OTY1ODUsIm5iZiI6MTc0NTc5NjI4NSwicGF0aCI6Ii82NjM1NDc4My80MzQ4OTE1MTMtMGMwMzA3NTYtZjJhMC00YTlkLTgxYTItOTk5NDNhMGY4ODFmLm1wND9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTA0MjclMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUwNDI3VDIzMjQ0NVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTI3ZTA5YzI2MTQ1OGM3NzhiNWUzNGIzNmUwNWYxZjJhMzdjYzkzNDFlMTAzNjY4ZmM2YTgwZWYzNjVkMzNiZGMmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.pmasai1aQoO1Dn4kK9S-KL-1RojT1ejuby8tdd6ZcsY

演示视频地址2:

https://private-user-images.githubusercontent.com/66354783/434891145-cb7c3a62-5927-4f5a-8aec-258d7e1d513e.mp4?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NDU3OTY1ODUsIm5iZiI6MTc0NTc5NjI4NSwicGF0aCI6Ii82NjM1NDc4My80MzQ4OTExNDUtY2I3YzNhNjItNTkyNy00ZjVhLThhZWMtMjU4ZDdlMWQ1MTNlLm1wND9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTA0MjclMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUwNDI3VDIzMjQ0NVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTFiOTQ2NTdlNDNlMzYzZTg1MzlhZGM2ZWFkNWNkYWI2NTBhZTY1MjQ2ZWFkNmU0OWE1ODhkNWVmNmJjM2MwMDgmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.K-fHJKlXLspFQSzMfXYaO_JiUsKncUrfEYWSS1dhJxA

技术细节

Ev-DeblurVSR 的核心创新在于其架构设计,具体包括两个模块:

互助特征去模糊(RFD)模块:该模块通过帧与帧内事件之间的相互作用,增强特征表示并改善去模糊效果。它通过双向信息流帮助解决模糊问题。

混合形变对齐(HDA)模块:该模块结合帧间事件和光流进行运动估计优化,通过形变对齐技术确保帧间的高精度匹配。

这些模块共同解决了传统 BVSR 方法中缺乏高频细节和运动信息的问题,显著提升了超分辨率质量。

性能与评估

该方法在多个数据集上进行了评估:

合成数据集:GoPro 和 BSD,分别从 GoPro 数据集 和 BSD 数据集 获取。

真实世界数据集:NCER,来源为 NCER 数据集。

性能指标显示,Ev-DeblurVSR 相较于之前的领先方法 FMA-Net,在以下数据集上取得了显著提升:

GoPro:+3.27dB

BSD:+2.88dB

NCER:+2.59dB

此外,在真实数据上的处理速度提高了 7.28 倍,体现了其在效率上的优势。

可用性与应用

Ev-DeblurVSR 的代码和预训练模型可在 GitHub 仓库 免费获取,仓库中还包括测试集下载链接(如 百度云 和 Google Drive)。该项目采用 Apache 2.0 许可,鼓励学术和工业界的进一步开发。

其潜在应用包括但不限于监控系统、自动驾驶和视频编辑等领域,尤其是在需要高品质视频增强的场景中。

相关工作与影响

Ev-DeblurVSR 构建于多个现有工作的基础上,包括 EvTexture (EvTexture 仓库), BasicSR (BasicSR 仓库), BasicVSR++ (BasicVSR++ 仓库), RAFT (RAFT 仓库), 和 event_utils (event_utils 仓库)。这些相关工作为其提供了技术基础和灵感。

该项目的发布日期包括预训练模型和测试集于 2025/04/17 发布,视频演示于 2025/01/07 发布,仓库初始化于 2024/12/15,论文接受于 2024/12/09,均与当前时间(2025 年 4 月 27 日,太平洋夏令时下午 4:01)一致。

结论

Ev-DeblurVSR 代表了模糊视频超分辨率领域的重要进展,通过整合事件信号,它有效解决了传统方法中的关键限制,并在性能和效率上设定了新基准。该工作为监控、自动驾驶等需要高品质视频增强的领域开辟了新的可能性。

相关推荐
说私域2 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
shangyingying_12 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
猫头虎3 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程
要努力啊啊啊4 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪
特立独行的猫a4 小时前
百度AI文心大模型4.5系列开源模型评测,从安装部署到应用体验
人工智能·百度·开源·文心一言·文心一言4.5
大咖分享课7 小时前
开源模型与商用模型协同开发机制设计
人工智能·开源·ai模型
tinker7 小时前
使用 Syncthing 2.0 搭建私有同步服务器
开源
断剑重铸之日7 小时前
Android开发:GoogleMap电子围栏与联想地址搜索
开源
Sincerelyplz8 小时前
【Temproal】快速了解Temproal的核心概念以及使用
笔记·后端·开源