⭐CVPR2025 AKiRa:让视频生成玩转相机光学的黑科技[特殊字符]

📄论文题目:AKiRa: Augmentation Kit on Rays for optical video generation

✍️作者及机构:Xi Wang、Robin Courant、Marc Christie、Vicky Kalogeiton(法国巴黎综合理工学院、雷恩大学等)

🧩面临问题:当前文本条件视频扩散模型虽提升了视频质量,但在相机控制方面存在明显局限。多数方法仅简化考虑相机运动,忽略焦距(缩放)、镜头畸变(鱼眼效果)、光圈和焦点(景深)等关键光学参数1。同时,缺乏含丰富光学信息的训练数据,导致生成内容光学一致性不足,难以实现电影级叙事效果2。

🎯创新点及其具体研究方法:

1️⃣ 提出首个光学视频生成框架:实现对相机运动及光学参数(焦距、畸变、光圈等)的精细控制,可生成缩放、鱼眼、景深等复杂电影级效果3。方法上,在预训练视频生成骨干网络基础上,训练相机适配器,将光学参数整合到生成 pipeline 中,使模型直接利用相机和光学参数生成内容4。

2️⃣ 设计含光学参数的相机模型表示:基于 Plücker 坐标构建光线表示(方向和矩),编码焦距和镜头畸变信息;新增光圈图,关联每个像素与焦点的距离,建模景深效果,形成 9 维相机映射匹配视频帧维度56。

3️⃣ 提出 AKiRa 光线增强工具包:通过数据增强解决光学训练数据缺失问题。包括焦距增强(模拟缩放,区分于前后移动)、畸变增强(调整径向畸变系数并优化裁剪防黑边)、光圈增强(基于深度估计渲染景深效果),同时采用样条插值确保参数平滑过渡,避免闪烁78。

#CVPR 顶会 #视频生成 #计算机视觉 #深度学习 #相机控制 #光学视频生成 #AI 动画


相关推荐
love530love3 分钟前
怎么更新 cargo.exe ?(Rust 工具链)
人工智能·windows·python·rust·r语言
EulerBlind7 分钟前
【机器学习】从KNN算法到图像风格迁移:原理与实践
人工智能·算法·机器学习
闲人编程25 分钟前
PyQt6 进阶篇:构建现代化、功能强大的桌面应用
数据库·python·oracle·gui·脚本·pyqt6·软件
anscos29 分钟前
设计仿真 | 从物理扫描到虚拟检具:Simufact Welding革新汽车零部件检测
人工智能·算法·汽车·软件
慧星云35 分钟前
魔多 AI 支持 Qwen-lmage 在线训练 :复杂文字也能精准生成
人工智能·云计算·aigc
融智兴科技42 分钟前
盛大启幕!融智兴科技亮相 IOTE 2025 深圳国际物联网展
科技·物联网
盼小辉丶1 小时前
Transformer实战(13)——从零开始训练GPT-2语言模型
gpt·深度学习·语言模型·transformer
不枯石1 小时前
Python计算点云的欧式、马氏、最近邻、平均、倒角距离(Chamfer Distance)
python·计算机视觉
雷达学弱狗1 小时前
anaconda本身有一个python环境(base),想用别的环境就是用anaconda命令行往anaconda里创建虚拟环境
开发语言·python