⭐CVPR2025 AKiRa:让视频生成玩转相机光学的黑科技[特殊字符]

📄论文题目:AKiRa: Augmentation Kit on Rays for optical video generation

✍️作者及机构:Xi Wang、Robin Courant、Marc Christie、Vicky Kalogeiton(法国巴黎综合理工学院、雷恩大学等)

🧩面临问题:当前文本条件视频扩散模型虽提升了视频质量,但在相机控制方面存在明显局限。多数方法仅简化考虑相机运动,忽略焦距(缩放)、镜头畸变(鱼眼效果)、光圈和焦点(景深)等关键光学参数1。同时,缺乏含丰富光学信息的训练数据,导致生成内容光学一致性不足,难以实现电影级叙事效果2。

🎯创新点及其具体研究方法:

1️⃣ 提出首个光学视频生成框架:实现对相机运动及光学参数(焦距、畸变、光圈等)的精细控制,可生成缩放、鱼眼、景深等复杂电影级效果3。方法上,在预训练视频生成骨干网络基础上,训练相机适配器,将光学参数整合到生成 pipeline 中,使模型直接利用相机和光学参数生成内容4。

2️⃣ 设计含光学参数的相机模型表示:基于 Plücker 坐标构建光线表示(方向和矩),编码焦距和镜头畸变信息;新增光圈图,关联每个像素与焦点的距离,建模景深效果,形成 9 维相机映射匹配视频帧维度56。

3️⃣ 提出 AKiRa 光线增强工具包:通过数据增强解决光学训练数据缺失问题。包括焦距增强(模拟缩放,区分于前后移动)、畸变增强(调整径向畸变系数并优化裁剪防黑边)、光圈增强(基于深度估计渲染景深效果),同时采用样条插值确保参数平滑过渡,避免闪烁78。

#CVPR 顶会 #视频生成 #计算机视觉 #深度学习 #相机控制 #光学视频生成 #AI 动画


相关推荐
刘晓倩8 分钟前
扣子Coze中的触发器实现流程自动化-实现每日新闻卡片式推送
人工智能·触发器·coze
Shun_Tianyou18 分钟前
Python Day21 re模块正则表达式 简单小说爬取 及例题分析
开发语言·数据结构·python·算法·正则表达式
徐礼昭|商派软件市场负责人26 分钟前
商派小程序商城(小程序/官网/APP···)的范式跃迁与增长再想象
人工智能·小程序·商城系统·商派oms
大志说编程37 分钟前
LangChain框架入门09:什么是RAG?
人工智能·langchain
ezl1fe37 分钟前
RAG 每日一技(十四):化繁为简,统揽全局——用LangChain构建高级RAG流程
人工智能·后端·算法
Hi202402171 小时前
Apollo中三种相机外参的可视化分析
数码相机
一碗白开水一1 小时前
【第6话:相机模型2】相机标定在自动驾驶中的作用、相机标定方法详解及代码说明
人工智能·数码相机·自动驾驶
The moon forgets1 小时前
Occ3D: A Large-Scale 3D Occupancy Prediction Benchmark for Autonomous Driving
人工智能·pytorch·深度学习·目标检测·3d
melody_of_Canon1 小时前
使用 gptqmodel 量化 Qwen3-Coder-30B-A3B-Instruct
python·gptq量化
新智元1 小时前
刚刚,马斯克 Grok4 干翻谷歌 Gemini!o3 杀入首届大模型对抗赛决战
人工智能·openai