⭐CVPR2025 非均匀运动视频插帧新突破

📄论文题目:BiM-VFI: Bidirectional Motion Field-Guided Frame Interpolation for Video with Non-uniform Motions

✍️作者及机构:Wonyong Seo(KAIST)、Jihyong Oh(Chung-Ang University)、Munchurl Kim(KAIST)

🧩面临问题:现有视频帧插值(VFI)模型在处理非均匀运动(如加速、减速、方向变化)视频时,易受时间 - 位置模糊(TTL ambiguity)影响。由于两帧间像素可能存在无数运动轨迹,模型常学习所有可能性的平均值,导致插值帧出现严重模糊 artifacts12。

🎯创新点及其具体研究方法:

1️⃣ 提出双向运动场(BiM):作为新型运动描述映射,通过像素级运动幅度比,可精准述非均匀运动,解决时间索引和距离索引无法区分方向变化的局限345。

2️⃣ BiM 引导的 FlowNet(BiMFN)与内容感知上采样网络(CAUN):BiMFN 利用 BiM 调制卷积层,融合运动特征、距离嵌入和角度嵌入,优化光流估计;CAUN 采用自适应上采样策略,避免传统上采样的边界漏流问题,更好保留小目标和复杂边界细节678。

3️⃣ VFI-centric 流监督知识蒸馏(KDVCF):设计教师 - 学生双过程,教师过程利用真实目标帧生成精准光流和 BiM,学生过程通过蒸馏学习教师知识,使流监督更贴合 VFI 任务,优于预训练光流模型监督91011。


相关推荐
珊瑚怪人15 分钟前
分享一个Edge浏览器播放H265 RTSP流的问题,涉及到ZLMediaKit、WebRTC
音视频·视频·js·zlmediakit·视频流处理
qcx2324 分钟前
【AI Agent实战】 0 成本视频处理全流程:ffmpeg + whisper 实现去水印、双语字幕、品牌片尾 | 实战SOP
人工智能·ffmpeg·音视频
huxiao_060128 分钟前
Windosw下VS 2022编译FFmpeg(支持x264、x265、fdk-acc)
ffmpeg·音视频
F_D_Z1 小时前
Causal Forcing:自回归扩散蒸馏与高质量实时交互视频生成
数据挖掘·回归·音视频
骨子里的偏爱1 小时前
.raw后缀的文件转为jpg(压缩视频流转图片)
音视频
码云数智-园园1 小时前
告别Flash:HTML5音视频播放器实战指南
前端·音视频·html5
热爱专研AI的学妹11 小时前
Seedance 2.0(即梦 2.0)深度解析:AI 视频正式迈入导演级精准可控时代
大数据·人工智能·阿里云·音视频
byte轻骑兵16 小时前
从收音机到蓝牙:LE Audio核心BASS服务解析与实战
人工智能·音视频·语音识别·le audio·低功耗音频
大猫会长17 小时前
AudioContext给音频提高音量
前端·javascript·音视频