📄论文题目:AKiRa: Augmentation Kit on Rays for optical video generation
✍️作者及机构:Xi Wang、Robin Courant、Marc Christie、Vicky Kalogeiton(法国巴黎综合理工学院、雷恩大学等)
🧩面临问题:当前文本条件视频扩散模型虽提升了视频质量,但在相机控制方面存在明显局限。多数方法仅简化考虑相机运动,忽略焦距(缩放)、镜头畸变(鱼眼效果)、光圈和焦点(景深)等关键光学参数1。同时,缺乏含丰富光学信息的训练数据,导致生成内容光学一致性不足,难以实现电影级叙事效果2。
🎯创新点及其具体研究方法:
1️⃣ 提出首个光学视频生成框架:实现对相机运动及光学参数(焦距、畸变、光圈等)的精细控制,可生成缩放、鱼眼、景深等复杂电影级效果3。方法上,在预训练视频生成骨干网络基础上,训练相机适配器,将光学参数整合到生成 pipeline 中,使模型直接利用相机和光学参数生成内容4。
2️⃣ 设计含光学参数的相机模型表示:基于 Plücker 坐标构建光线表示(方向和矩),编码焦距和镜头畸变信息;新增光圈图,关联每个像素与焦点的距离,建模景深效果,形成 9 维相机映射匹配视频帧维度56。
3️⃣ 提出 AKiRa 光线增强工具包:通过数据增强解决光学训练数据缺失问题。包括焦距增强(模拟缩放,区分于前后移动)、畸变增强(调整径向畸变系数并优化裁剪防黑边)、光圈增强(基于深度估计渲染景深效果),同时采用样条插值确保参数平滑过渡,避免闪烁78。
#CVPR 顶会 #视频生成 #计算机视觉 #深度学习 #相机控制 #光学视频生成 #AI 动画