⭐CVPR2025 非均匀运动视频插帧新突破

📄论文题目:BiM-VFI: Bidirectional Motion Field-Guided Frame Interpolation for Video with Non-uniform Motions

✍️作者及机构:Wonyong Seo(KAIST)、Jihyong Oh(Chung-Ang University)、Munchurl Kim(KAIST)

🧩面临问题:现有视频帧插值(VFI)模型在处理非均匀运动(如加速、减速、方向变化)视频时,易受时间 - 位置模糊(TTL ambiguity)影响。由于两帧间像素可能存在无数运动轨迹,模型常学习所有可能性的平均值,导致插值帧出现严重模糊 artifacts12。

🎯创新点及其具体研究方法:

1️⃣ 提出双向运动场(BiM):作为新型运动描述映射,通过像素级运动幅度比,可精准述非均匀运动,解决时间索引和距离索引无法区分方向变化的局限345。

2️⃣ BiM 引导的 FlowNet(BiMFN)与内容感知上采样网络(CAUN):BiMFN 利用 BiM 调制卷积层,融合运动特征、距离嵌入和角度嵌入,优化光流估计;CAUN 采用自适应上采样策略,避免传统上采样的边界漏流问题,更好保留小目标和复杂边界细节678。

3️⃣ VFI-centric 流监督知识蒸馏(KDVCF):设计教师 - 学生双过程,教师过程利用真实目标帧生成精准光流和 BiM,学生过程通过蒸馏学习教师知识,使流监督更贴合 VFI 任务,优于预训练光流模型监督91011。


相关推荐
硬件学长森哥10 小时前
成像技术实例-HDR视频技术基础
图像处理·音视频
美狐美颜SDK开放平台13 小时前
Android与iOS直播APP美颜有什么区别?视频美颜SDK开发详解
android·ios·音视频·视频美颜sdk
2601_9556624614 小时前
文本转语音(TTS)技术选型与工程实践
大数据·人工智能·音视频·语音识别·媒体
贾伟康15 小时前
【HarmonyOS 7新能力|066】弱网直播优化实战:从网络感知到码率、缓冲与恢复
音视频·harmonyos·arkts·网络优化·弱网直播
Android系统攻城狮16 小时前
Linux Gstreamer深度解析之gst_audio_decoder_get_parse_state调用流程与实战(四十九)
linux·音视频·gstreamer音视频·gstreamer音视频进阶
勤劳X码农16 小时前
2026年TTS工具音频质量量化评测:MOS评分、延迟与格式兼容性实测
音视频
AI天行健17 小时前
内容工作室 AI 视频量产选型:星宇智算无限画布能解决哪些生产卡点
人工智能·音视频
小猴子爱上树18 小时前
跨马翻译:批量图片翻译+视频字幕+智能抠图一站式工具
python·音视频
火山引擎边缘云20 小时前
从“看见文字”到“读懂画面”:AI MediaKit 如何实现视频字幕无痕擦除
人工智能·音视频
光子物联单片机20 小时前
STM32传感器模块编程实践(二十二)DIY智能WIFI视频控制小车
c语言·stm32·单片机·嵌入式硬件·音视频