⭐CVPR2025 非均匀运动视频插帧新突破

📄论文题目:BiM-VFI: Bidirectional Motion Field-Guided Frame Interpolation for Video with Non-uniform Motions

✍️作者及机构:Wonyong Seo(KAIST)、Jihyong Oh(Chung-Ang University)、Munchurl Kim(KAIST)

🧩面临问题:现有视频帧插值(VFI)模型在处理非均匀运动(如加速、减速、方向变化)视频时,易受时间 - 位置模糊(TTL ambiguity)影响。由于两帧间像素可能存在无数运动轨迹,模型常学习所有可能性的平均值,导致插值帧出现严重模糊 artifacts12。

🎯创新点及其具体研究方法:

1️⃣ 提出双向运动场(BiM):作为新型运动描述映射,通过像素级运动幅度比,可精准述非均匀运动,解决时间索引和距离索引无法区分方向变化的局限345。

2️⃣ BiM 引导的 FlowNet(BiMFN)与内容感知上采样网络(CAUN):BiMFN 利用 BiM 调制卷积层,融合运动特征、距离嵌入和角度嵌入,优化光流估计;CAUN 采用自适应上采样策略,避免传统上采样的边界漏流问题,更好保留小目标和复杂边界细节678。

3️⃣ VFI-centric 流监督知识蒸馏(KDVCF):设计教师 - 学生双过程,教师过程利用真实目标帧生成精准光流和 BiM,学生过程通过蒸馏学习教师知识,使流监督更贴合 VFI 任务,优于预训练光流模型监督91011。


相关推荐
2501_942279258 小时前
音频转文本新方案让识别更准、整理更省事
音视频
nashane12 小时前
HarmonyOS 6学习:句柄泄漏(Fd Leak)从“崩溃现场”到“代码行”的精准狙击指南
学习·华为·音视频·harmonyos
君为先-bey14 小时前
VideoReward: 人类反馈优化视频生成文献深度阅读分析
人工智能·音视频·扩散模型
byte轻骑兵15 小时前
【AVRCP】规范精讲[25]: 大数据包拆分传输的完整流程与实战
智能手机·音视频·avrcp·音视频控制·车机蓝牙
君为先-bey16 小时前
CineMaster: 3D感知电影级视频生成框架文献深度阅读分析
3d·音视频·扩散模型
weixin_4199369216 小时前
Grok Imagine 双模型登陆 MetaChat:Arena 榜首图生视频超越seedance2.0 + 旗舰级图像编辑
音视频·grok
南山有乔木78916 小时前
怎么把音频ncm/kgg/m4a格式转换成mp3?手机App和电脑软件都能用的教程
智能手机·音视频
VOOHU-沃虎17 小时前
PoE供电在专业音频设备中的应用:从电源变压器到音频隔离的完整方案
音视频
Deitymoon17 小时前
RV1136——获取VENC的H264码流
音视频
音视频牛哥17 小时前
SmartMediaKit 还是云服务厂商?企业级音视频系统选型背后的技术逻辑
音视频·大牛直播sdk·低延迟rtsp播放器·轻量级rtsp服务器·rtmp同屏推流·smartmediakit·低延迟rtmp播放器