⭐CVPR2025 非均匀运动视频插帧新突破

📄论文题目:BiM-VFI: Bidirectional Motion Field-Guided Frame Interpolation for Video with Non-uniform Motions

✍️作者及机构:Wonyong Seo(KAIST)、Jihyong Oh(Chung-Ang University)、Munchurl Kim(KAIST)

🧩面临问题:现有视频帧插值(VFI)模型在处理非均匀运动(如加速、减速、方向变化)视频时,易受时间 - 位置模糊(TTL ambiguity)影响。由于两帧间像素可能存在无数运动轨迹,模型常学习所有可能性的平均值,导致插值帧出现严重模糊 artifacts12。

🎯创新点及其具体研究方法:

1️⃣ 提出双向运动场(BiM):作为新型运动描述映射,通过像素级运动幅度比,可精准述非均匀运动,解决时间索引和距离索引无法区分方向变化的局限345。

2️⃣ BiM 引导的 FlowNet(BiMFN)与内容感知上采样网络(CAUN):BiMFN 利用 BiM 调制卷积层,融合运动特征、距离嵌入和角度嵌入,优化光流估计;CAUN 采用自适应上采样策略,避免传统上采样的边界漏流问题,更好保留小目标和复杂边界细节678。

3️⃣ VFI-centric 流监督知识蒸馏(KDVCF):设计教师 - 学生双过程,教师过程利用真实目标帧生成精准光流和 BiM,学生过程通过蒸馏学习教师知识,使流监督更贴合 VFI 任务,优于预训练光流模型监督91011。


相关推荐
aqi005 小时前
FFmpeg开发笔记(八十九)基于FFmpeg的直播视频录制工具StreamCap
ffmpeg·音视频·直播·流媒体
Ghost Face...8 小时前
Linux音频控制神器:amixer完全指南
linux·chrome·音视频
八月的雨季 最後的冰吻9 小时前
FFmepg--28- 滤镜处理 YUV 视频帧:实现上下镜像效果
ffmpeg·音视频
aqi0010 小时前
FFmpeg开发笔记(九十二)基于Kotlin的开源Android推流器StreamPack
android·ffmpeg·kotlin·音视频·直播·流媒体
Together_CZ12 小时前
Cambrian-S: Towards Spatial Supersensing in Video——迈向视频中的空间超感知
人工智能·机器学习·音视频·spatial·cambrian-s·迈向视频中的空间超感知·supersensing
Android系统攻城狮12 小时前
Android16音频之设置音频属性AudioTrack.Builder().setAudioAttributes:用法实例(一百一十九)
音视频·android16·音频进阶
空影星12 小时前
轻量日记神器RedNotebook,高效记录每一天
python·数据挖掘·数据分析·音视频
Black蜡笔小新12 小时前
视频汇聚平台EasyCVR赋能石油管道计量站精准监控与安全管理
安全·音视频
马剑威(威哥爱编程)1 天前
鸿蒙6开发视频播放器的屏幕方向适配问题
java·音视频·harmonyos
万能的小裴同学1 天前
Android M3U8视频播放器
android·音视频