(开源)视频画面增强模型:Ev-DeblurVSR (可以解决视频画面不清晰的问题)

在计算机视觉领域,模糊视频超分辨率(BVSR)是一个复杂且具有挑战性的任务,目标是从低分辨率(LR)和模糊的输入生成高分辨率(HR)视频。传统方法常常因缺乏足够运动信息和高频细节而表现不佳。为了解决这些问题,研究人员开始探索创新方法,例如利用事件相机捕捉场景变化,而非依赖传统帧式图像。

Ev-DeblurVSR 是一个由中国科学技术大学的研究团队(包括 Dachun Kai、Yueyi Zhang、Jin Wang、Zeyu Xiao、Zhiwei Xiong 和 Xiaoyan Sun)开发的项目,于 2025 年 AAAI 会议上发表。该项目首次提出了一种事件增强的模糊视频超分辨率方案,旨在通过整合事件信号来提升视频质量。

方面 详情
项目名称 事件增强模糊视频超分辨率(Ev-DeblurVSR)
会议 AAAI 2025
论文 URL arXiv 页面
项目页面 URL https://dachunkai.github.io/ev-deblurvsr.github.io/
仓库 URL GitHub 仓库
作者 Dachun Kai, Yueyi Zhang, Jin Wang, Zeyu Xiao, Zhiwei Xiong, Xiaoyan Sun 戴淳凯,岳毅,王金,肖泽宇,熊志伟,孙晓燕
隶属机构 中国科学技术大学
发布日期 - 预训练模型和测试集:2025/04/17 - 视频演示:2025/01/07 - 仓库初始化:2024/12/15 - 论文接受:2024/12/09
使用数据集 - 合成:GoPro (GoPro 数据集), BSD (BSD 数据集) - 真实世界:NCER (NCER 数据集)
预训练模型 - EvDeblurVSR_GOPRO_BIx4.pth - EvDeblurVSR_BSD_BIx4.pth - EvDeblurVSR_NCER_BIx4.pth 下载:https://github.com/DachunKai/Ev-DeblurVSR 百度云 - EvDeblurVSR_GOPRO_BIx4.pth- EvDeblurVSR_BSD_BIx4.pth- EvDeblurVSR_NCER_BIx4.pth
测试集下载 百度云, Google Drive
缩放比例 4× SR 缩放
许可 Apache 2.0 (许可详情) Apache 2.0 协议()

效果1:

效果2:

演示视频地址1:

https://private-user-images.githubusercontent.com/66354783/434891513-0c030756-f2a0-4a9d-81a2-99943a0f881f.mp4?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NDU3OTY1ODUsIm5iZiI6MTc0NTc5NjI4NSwicGF0aCI6Ii82NjM1NDc4My80MzQ4OTE1MTMtMGMwMzA3NTYtZjJhMC00YTlkLTgxYTItOTk5NDNhMGY4ODFmLm1wND9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTA0MjclMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUwNDI3VDIzMjQ0NVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTI3ZTA5YzI2MTQ1OGM3NzhiNWUzNGIzNmUwNWYxZjJhMzdjYzkzNDFlMTAzNjY4ZmM2YTgwZWYzNjVkMzNiZGMmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.pmasai1aQoO1Dn4kK9S-KL-1RojT1ejuby8tdd6ZcsY

演示视频地址2:

https://private-user-images.githubusercontent.com/66354783/434891145-cb7c3a62-5927-4f5a-8aec-258d7e1d513e.mp4?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3NDU3OTY1ODUsIm5iZiI6MTc0NTc5NjI4NSwicGF0aCI6Ii82NjM1NDc4My80MzQ4OTExNDUtY2I3YzNhNjItNTkyNy00ZjVhLThhZWMtMjU4ZDdlMWQ1MTNlLm1wND9YLUFtei1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtei1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNTA0MjclMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcmVxdWVzdCZYLUFtei1EYXRlPTIwMjUwNDI3VDIzMjQ0NVomWC1BbXotRXhwaXJlcz0zMDAmWC1BbXotU2lnbmF0dXJlPTFiOTQ2NTdlNDNlMzYzZTg1MzlhZGM2ZWFkNWNkYWI2NTBhZTY1MjQ2ZWFkNmU0OWE1ODhkNWVmNmJjM2MwMDgmWC1BbXotU2lnbmVkSGVhZGVycz1ob3N0In0.K-fHJKlXLspFQSzMfXYaO_JiUsKncUrfEYWSS1dhJxA

技术细节

Ev-DeblurVSR 的核心创新在于其架构设计,具体包括两个模块:

互助特征去模糊(RFD)模块:该模块通过帧与帧内事件之间的相互作用,增强特征表示并改善去模糊效果。它通过双向信息流帮助解决模糊问题。

混合形变对齐(HDA)模块:该模块结合帧间事件和光流进行运动估计优化,通过形变对齐技术确保帧间的高精度匹配。

这些模块共同解决了传统 BVSR 方法中缺乏高频细节和运动信息的问题,显著提升了超分辨率质量。

性能与评估

该方法在多个数据集上进行了评估:

合成数据集:GoPro 和 BSD,分别从 GoPro 数据集 和 BSD 数据集 获取。

真实世界数据集:NCER,来源为 NCER 数据集。

性能指标显示,Ev-DeblurVSR 相较于之前的领先方法 FMA-Net,在以下数据集上取得了显著提升:

GoPro:+3.27dB

BSD:+2.88dB

NCER:+2.59dB

此外,在真实数据上的处理速度提高了 7.28 倍,体现了其在效率上的优势。

可用性与应用

Ev-DeblurVSR 的代码和预训练模型可在 GitHub 仓库 免费获取,仓库中还包括测试集下载链接(如 百度云 和 Google Drive)。该项目采用 Apache 2.0 许可,鼓励学术和工业界的进一步开发。

其潜在应用包括但不限于监控系统、自动驾驶和视频编辑等领域,尤其是在需要高品质视频增强的场景中。

相关工作与影响

Ev-DeblurVSR 构建于多个现有工作的基础上,包括 EvTexture (EvTexture 仓库), BasicSR (BasicSR 仓库), BasicVSR++ (BasicVSR++ 仓库), RAFT (RAFT 仓库), 和 event_utils (event_utils 仓库)。这些相关工作为其提供了技术基础和灵感。

该项目的发布日期包括预训练模型和测试集于 2025/04/17 发布,视频演示于 2025/01/07 发布,仓库初始化于 2024/12/15,论文接受于 2024/12/09,均与当前时间(2025 年 4 月 27 日,太平洋夏令时下午 4:01)一致。

结论

Ev-DeblurVSR 代表了模糊视频超分辨率领域的重要进展,通过整合事件信号,它有效解决了传统方法中的关键限制,并在性能和效率上设定了新基准。该工作为监控、自动驾驶等需要高品质视频增强的领域开辟了新的可能性。

相关推荐
FIT2CLOUD飞致云23 分钟前
八月月报丨MaxKB在教育及教学科研领域的应用进展
开源
阿里云大数据AI技术41 分钟前
ODPS 十五周年实录 | 为 AI 而生的数据平台
大数据·数据分析·开源
CoovallyAIHub1 小时前
为高空安全上双保险!无人机AI护航,YOLOv5秒判安全带,守护施工生命线
深度学习·算法·计算机视觉
FIT2CLOUD飞致云1 小时前
下拉组件Tag支持自定义背景颜色,图片组支持设置刷新频率,DataEase开源BI工具v2.10.12 LTS版本发布
开源·数据可视化
才思喷涌的小书虫1 小时前
小白玩转 DINO-X MCP(2):基于 DINO-X MCP 搭建饮食规划工作流
计算机视觉·mcp
彩旗工作室2 小时前
腾讯混元3D系列开源模型:从工业级到移动端的本地部署
3d·开源·腾讯混元
NeilNiu2 小时前
开源AI工具Midscene.js
javascript·人工智能·开源
计算机sci论文精选3 小时前
CVPR 2025 | 具身智能 | HOLODECK:一句话召唤3D世界,智能体的“元宇宙练功房”来了
人工智能·深度学习·机器学习·计算机视觉·机器人·cvpr·具身智能
山烛4 小时前
OpenCV 图像处理基础操作指南(二)
人工智能·python·opencv·计算机视觉
白鲸开源4 小时前
收藏!史上最全 Apache SeaTunnel Source 连接器盘点 (2025版),一篇通晓数据集成生态
大数据·数据库·开源