(开源)视频画面增强模型:Ev-DeblurVSR (可以解决视频画面不清晰的问题)

在计算机视觉领域,模糊视频超分辨率(BVSR)是一个复杂且具有挑战性的任务,目标是从低分辨率(LR)和模糊的输入生成高分辨率(HR)视频。传统方法常常因缺乏足够运动信息和高频细节而表现不佳。为了解决这些问题,研究人员开始探索创新方法,例如利用事件相机捕捉场景变化,而非依赖传统帧式图像。

Ev-DeblurVSR 是一个由中国科学技术大学的研究团队(包括 Dachun Kai、Yueyi Zhang、Jin Wang、Zeyu Xiao、Zhiwei Xiong 和 Xiaoyan Sun)开发的项目,于 2025 年 AAAI 会议上发表。该项目首次提出了一种事件增强的模糊视频超分辨率方案,旨在通过整合事件信号来提升视频质量。

方面 详情
项目名称 事件增强模糊视频超分辨率(Ev-DeblurVSR)
会议 AAAI 2025
论文 URL arXiv 页面
项目页面 URL https://dachunkai.github.io/ev-deblurvsr.github.io/
仓库 URL GitHub 仓库
作者 Dachun Kai, Yueyi Zhang, Jin Wang, Zeyu Xiao, Zhiwei Xiong, Xiaoyan Sun 戴淳凯,岳毅,王金,肖泽宇,熊志伟,孙晓燕
隶属机构 中国科学技术大学
发布日期 - 预训练模型和测试集:2025/04/17 - 视频演示:2025/01/07 - 仓库初始化:2024/12/15 - 论文接受:2024/12/09
使用数据集 - 合成:GoPro (GoPro 数据集), BSD (BSD 数据集) - 真实世界:NCER (NCER 数据集)
预训练模型 - EvDeblurVSR_GOPRO_BIx4.pth - EvDeblurVSR_BSD_BIx4.pth - EvDeblurVSR_NCER_BIx4.pth 下载:https://github.com/DachunKai/Ev-DeblurVSR 百度云 - EvDeblurVSR_GOPRO_BIx4.pth- EvDeblurVSR_BSD_BIx4.pth- EvDeblurVSR_NCER_BIx4.pth
测试集下载 百度云, Google Drive
缩放比例 4× SR 缩放
许可 Apache 2.0 (许可详情) Apache 2.0 协议()

效果1:

效果2:

演示视频地址1:

https://private-user-images.githubusercontent.com/66354783/434891513-0c030756-f2a0-4a9d-81a2-99943a0f881f.mp4?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NDU3OTY1ODUsIm5iZiI6MTc0NTc5NjI4NSwicGF0aCI6Ii82NjM1NDc4My80MzQ4OTE1MTMtMGMwMzA3NTYtZjJhMC00YTlkLTgxYTItOTk5NDNhMGY4ODFmLm1wND9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTA0MjclMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUwNDI3VDIzMjQ0NVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTI3ZTA5YzI2MTQ1OGM3NzhiNWUzNGIzNmUwNWYxZjJhMzdjYzkzNDFlMTAzNjY4ZmM2YTgwZWYzNjVkMzNiZGMmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.pmasai1aQoO1Dn4kK9S-KL-1RojT1ejuby8tdd6ZcsY

演示视频地址2:

https://private-user-images.githubusercontent.com/66354783/434891145-cb7c3a62-5927-4f5a-8aec-258d7e1d513e.mp4?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NDU3OTY1ODUsIm5iZiI6MTc0NTc5NjI4NSwicGF0aCI6Ii82NjM1NDc4My80MzQ4OTExNDUtY2I3YzNhNjItNTkyNy00ZjVhLThhZWMtMjU4ZDdlMWQ1MTNlLm1wND9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTA0MjclMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUwNDI3VDIzMjQ0NVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTFiOTQ2NTdlNDNlMzYzZTg1MzlhZGM2ZWFkNWNkYWI2NTBhZTY1MjQ2ZWFkNmU0OWE1ODhkNWVmNmJjM2MwMDgmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.K-fHJKlXLspFQSzMfXYaO_JiUsKncUrfEYWSS1dhJxA

技术细节

Ev-DeblurVSR 的核心创新在于其架构设计,具体包括两个模块:

互助特征去模糊(RFD)模块:该模块通过帧与帧内事件之间的相互作用,增强特征表示并改善去模糊效果。它通过双向信息流帮助解决模糊问题。

混合形变对齐(HDA)模块:该模块结合帧间事件和光流进行运动估计优化,通过形变对齐技术确保帧间的高精度匹配。

这些模块共同解决了传统 BVSR 方法中缺乏高频细节和运动信息的问题,显著提升了超分辨率质量。

性能与评估

该方法在多个数据集上进行了评估:

合成数据集:GoPro 和 BSD,分别从 GoPro 数据集 和 BSD 数据集 获取。

真实世界数据集:NCER,来源为 NCER 数据集。

性能指标显示,Ev-DeblurVSR 相较于之前的领先方法 FMA-Net,在以下数据集上取得了显著提升:

GoPro:+3.27dB

BSD:+2.88dB

NCER:+2.59dB

此外,在真实数据上的处理速度提高了 7.28 倍,体现了其在效率上的优势。

可用性与应用

Ev-DeblurVSR 的代码和预训练模型可在 GitHub 仓库 免费获取,仓库中还包括测试集下载链接(如 百度云 和 Google Drive)。该项目采用 Apache 2.0 许可,鼓励学术和工业界的进一步开发。

其潜在应用包括但不限于监控系统、自动驾驶和视频编辑等领域,尤其是在需要高品质视频增强的场景中。

相关工作与影响

Ev-DeblurVSR 构建于多个现有工作的基础上,包括 EvTexture (EvTexture 仓库), BasicSR (BasicSR 仓库), BasicVSR++ (BasicVSR++ 仓库), RAFT (RAFT 仓库), 和 event_utils (event_utils 仓库)。这些相关工作为其提供了技术基础和灵感。

该项目的发布日期包括预训练模型和测试集于 2025/04/17 发布,视频演示于 2025/01/07 发布,仓库初始化于 2024/12/15,论文接受于 2024/12/09,均与当前时间(2025 年 4 月 27 日,太平洋夏令时下午 4:01)一致。

结论

Ev-DeblurVSR 代表了模糊视频超分辨率领域的重要进展,通过整合事件信号,它有效解决了传统方法中的关键限制,并在性能和效率上设定了新基准。该工作为监控、自动驾驶等需要高品质视频增强的领域开辟了新的可能性。

相关推荐
paopao_wu17 分钟前
腾讯HunyuanOCR开源端到端OCR-1B:本地部署与测试
ai·开源·ocr·hunyuan
通义灵码1 小时前
Qoder 全形态产品家族正式发布,并开源 Agentic Coding 产品耐用度评测集
人工智能·开源·ai编程
济南壹软网络科技有限公司2 小时前
架构深潜:通霸IM——私有化部署、全链路开源的高可用企业级即时通讯技术基座
java·架构·开源·即时通讯源码·即时通讯im
OpenCSG3 小时前
智源Emu3.5发布:34B参数的世界模型基座,以“下一状态预测”重塑多模态Scaling范式
人工智能·开源
OpenCSG3 小时前
悟界Emu3.5发布:世界模型诞生,多模态进入“下一状态预测”新纪元
人工智能·开源
MM_MS4 小时前
WinForm+C#小案例--->写一个记事本程序
开发语言·计算机视觉·c#·visual studio
这张生成的图像能检测吗4 小时前
(论文速读)一种基于双目视觉的机器人螺纹装配预对准姿态估计方法
人工智能·计算机视觉·机器人·手眼标定·位姿估计·双目视觉·螺纹装配
IvorySQL4 小时前
活动预告|IvorySQL 与您相约 COSCon‘25
数据库·postgresql·开源
面包会有的,牛奶也会有的。5 小时前
开源项目:自动化测试平台-TestRunner-接口测试平台
开源
ccLianLian5 小时前
计算机视觉·ZegFormer
人工智能·计算机视觉