⭐CVPR2025 非均匀运动视频插帧新突破

📄论文题目:BiM-VFI: Bidirectional Motion Field-Guided Frame Interpolation for Video with Non-uniform Motions

✍️作者及机构:Wonyong Seo(KAIST)、Jihyong Oh(Chung-Ang University)、Munchurl Kim(KAIST)

🧩面临问题:现有视频帧插值(VFI)模型在处理非均匀运动(如加速、减速、方向变化)视频时,易受时间 - 位置模糊(TTL ambiguity)影响。由于两帧间像素可能存在无数运动轨迹,模型常学习所有可能性的平均值,导致插值帧出现严重模糊 artifacts12。

🎯创新点及其具体研究方法:

1️⃣ 提出双向运动场(BiM):作为新型运动描述映射,通过像素级运动幅度比,可精准述非均匀运动,解决时间索引和距离索引无法区分方向变化的局限345。

2️⃣ BiM 引导的 FlowNet(BiMFN)与内容感知上采样网络(CAUN):BiMFN 利用 BiM 调制卷积层,融合运动特征、距离嵌入和角度嵌入,优化光流估计;CAUN 采用自适应上采样策略,避免传统上采样的边界漏流问题,更好保留小目标和复杂边界细节678。

3️⃣ VFI-centric 流监督知识蒸馏(KDVCF):设计教师 - 学生双过程,教师过程利用真实目标帧生成精准光流和 BiM,学生过程通过蒸馏学习教师知识,使流监督更贴合 VFI 任务,优于预训练光流模型监督91011。


相关推荐
潜创微科技9 小时前
IT9201+IT66021:便携 KVM 一站式方案,音视控三合一免驱即插即用
嵌入式硬件·音视频
音视频牛哥12 小时前
大牛直播SDK(SmartMediaKit)鸿蒙NEXT RTSP/RTMP低延迟播放器集成与实践指南
音视频·harmonyos·大牛直播sdk·鸿蒙rtmp播放器·鸿蒙rtsp播放器·鸿蒙next rtsp播放器·鸿蒙next rtmp播放器
时空自由民.17 小时前
优化ESP32 ADF 音频问题
音视频
ZC跨境爬虫20 小时前
跟着 MDN 学 HTML day_41:(DOMParser 接口详解)
前端·javascript·ui·html·音视频
老王谈企服21 小时前
实在Agent智能体视频生成节点实战:多模型调度、Jinja模板与动态参数,打造自动化视频生产线
人工智能·自动化·音视频
MonkeyKing715521 小时前
iOS音频时钟、时钟同步与音频时间戳原理详解
ios·objective-c·音视频
ZC跨境爬虫21 小时前
跟着 MDN 学 HTML day_43:(DocumentFragment 接口详解)
前端·javascript·vue.js·ui·html·音视频
节点云科21 小时前
谷歌 Gemini Omni 深度解析:原生视频模型的技术突破与行业影响
人工智能·音视频
电子科技圈1 天前
XMOS将亮相台北国际电脑展并演示其在边缘AI和创新音频与互联等领域内的新方案
人工智能·游戏·计算机视觉·视觉检测·音视频·语音识别·实时音视频
数据法师1 天前
告别付费云端转写!Memo AI:一款部署在本地的无限次音视频转文字神器
人工智能·音视频