⭐CVPR2025 非均匀运动视频插帧新突破

📄论文题目:BiM-VFI: Bidirectional Motion Field-Guided Frame Interpolation for Video with Non-uniform Motions

✍️作者及机构:Wonyong Seo(KAIST)、Jihyong Oh(Chung-Ang University)、Munchurl Kim(KAIST)

🧩面临问题:现有视频帧插值(VFI)模型在处理非均匀运动(如加速、减速、方向变化)视频时,易受时间 - 位置模糊(TTL ambiguity)影响。由于两帧间像素可能存在无数运动轨迹,模型常学习所有可能性的平均值,导致插值帧出现严重模糊 artifacts12。

🎯创新点及其具体研究方法:

1️⃣ 提出双向运动场(BiM):作为新型运动描述映射,通过像素级运动幅度比,可精准述非均匀运动,解决时间索引和距离索引无法区分方向变化的局限345。

2️⃣ BiM 引导的 FlowNet(BiMFN)与内容感知上采样网络(CAUN):BiMFN 利用 BiM 调制卷积层,融合运动特征、距离嵌入和角度嵌入,优化光流估计;CAUN 采用自适应上采样策略,避免传统上采样的边界漏流问题,更好保留小目标和复杂边界细节678。

3️⃣ VFI-centric 流监督知识蒸馏(KDVCF):设计教师 - 学生双过程,教师过程利用真实目标帧生成精准光流和 BiM,学生过程通过蒸馏学习教师知识,使流监督更贴合 VFI 任务,优于预训练光流模型监督91011。


相关推荐
千里马学框架7 小时前
音频焦点学习之AudioFocusRequest.Builder类剖析
android·面试·智能手机·车载系统·音视频·安卓framework开发·audio
奔跑吧邓邓子10 小时前
【C++实战(71)】解锁C++音视频开发:FFmpeg从入门到实战
c++·ffmpeg·实战·音视频
骄傲的心别枯萎10 小时前
项目1:FFMPEG推流器讲解(一):FFMPEG重要结构体讲解
linux·ffmpeg·音视频·视频编解码·rv1126
fl17683113 小时前
基于pyqt5实现的视频抽帧工具源码+项目说明用于目标检测图片采集
qt·目标检测·音视频
MongoVIP15 小时前
音频类AI工具扩展
人工智能·音视频·ai工具使用
IvanCodes1 天前
RTX 4090 加速国产 AIGC 视频生成:腾讯混元与阿里千问开源模型
人工智能·开源·aigc·音视频
骄傲的心别枯萎1 天前
项目1:FFMPEG推流器讲解(二):FFMPEG输出模块初始化
linux·ffmpeg·音视频·视频编解码·rv1126
reasonsummer3 天前
【办公类-117-01】20250924通义万相视频2.5——三个小人(幼儿作品动态化)
人工智能·音视频·通义万相
摸鱼仙人~3 天前
如何高效下载 YouTube 视频?实用工具推荐
音视频
molihuan3 天前
开源 全平台 哔哩哔哩缓存视频合并 Github地址:https://github.com/molihuan/hlbmerge_flutter
android·flutter·缓存·ffmpeg·开源·github·音视频