CineMaster: 用于电影文本到视频生成的 3D 感知且可控的框架。

CineMaster是一种 3D 感知且可控的文本到视频生成方法允许用户在 3D 空间中联合操纵物体和相机,以创作高质量的电影视频。

相关链接

论文介绍

CineMaster是一种用于 3D 感知和可控文本到视频生成的新型框架。目标是让用户拥有与专业电影导演相当的可控性:在场景中精确放置物体、在 3D 空间中灵活操纵物体和相机,以及对渲染帧进行直观的布局控制。

CineMaster分两个阶段运行:

  • 第一阶段:设计了一个交互式工作流程,允许用户通过定位对象边界框和定义 3D 空间内的相机运动来直观地构建 3D 感知条件信号。

  • 第二阶段:这些控制信号(包括渲染的深度图、相机轨迹和对象类别标签)作为文本到视频扩散模型的指导,确保生成用户想要的视频内容。

此外,为了克服具有 3D 框和相机姿势注释的野生数据集的稀缺性,论文精心建立了一个自动化数据注释管道,从大规模视频数据中提取 3D 边界框和相机轨迹作为控制信号。大量定性和定量实验表明,CineMaster 明显优于现有方法,并实现了卓越的 3D 感知文本到视频生成。

物体和相机运动控制演示

物体运动控制演示

相机运动控制演示

它是如何工作的?

CineMaster是一个框架,它使用户能够在 3D 空间中操纵对象和相机以生成文本到视频。CineMaster 包含两个阶段。首先,我们提出了一个交互式工作流程,使用户能够以 3D 原生方式直观地操纵对象和相机。然后,控制信号从 3D 引擎渲染并输入到文本到视频的扩散模型中,指导用户生成想要的视频内容。

模型设计

网络架构概述。 论文设计了一个语义布局控制网,它由一个语义注入器和一个基于 DiT 的控制网组成。语义注入器融合了 3D 空间布局和类标签条件。基于 DiT 的控制网进一步表示融合的特征并添加到基础模型的隐藏状态。同时,我们通过相机适配器注入相机轨迹,以实现对物体运动和相机运动的联合控制。

数据集标记管道

数据集标记管道。 论文提出了一个数据标记管道,用于从视频中提取 3D 边界框、类标签和相机姿势。管道包括四个步骤:

  1. 实例分割:从视频前景中获取实例分割结果。

  2. 深度估计:使用 DepthAnything V2 生成度量深度图。

  3. 3D 点云和框计算:为每个实体识别具有最大掩码的帧,并通过逆投影计算每个实体的 3D 点云。然后,使用最小体积法计算每个实体的 3D 边界框。

  4. 实体跟踪和 3D 框调整:访问每个实体的点跟踪结果并计算每帧的 3D 边界框。最后,将整个 3D 场景投影到深度图中。

相关推荐
GIS工具-gistools20211 天前
ArcGIS Excalibur 的新功能
人工智能·arcgis
点云侠1 天前
解决Visual Studio 2022编译工程速度慢的问题
开发语言·c++·ide·算法·计算机视觉·visual studio
THMAIL1 天前
深度学习从入门到精通 - 迁移学习实战:用预训练模型解决小样本难题
人工智能·python·深度学习·算法·机器学习·迁移学习
音视频牛哥1 天前
AI+ 行动意见解读:音视频直播SDK如何加速行业智能化
人工智能·音视频·人工智能+·ai+ 行动意见·rtsp/rtmp 播放器·低空经济视频链路·工业巡检视频传输
roman_日积跬步-终至千里1 天前
【软件架构设计(19)】软件架构评估二:软件架构分析方法分类、质量属性场景、软件评估方法发展历程
人工智能·分类·数据挖掘
镭眸1 天前
因泰立科技:用激光雷达重塑智能工厂物流生态
大数据·人工智能·科技
阿豪Jeremy1 天前
使用MS-SWIF框架对大模型进行SFT微调
人工智能
慧星云1 天前
双节模型创作大赛开赛啦:和魔多一起欢庆中秋国庆
人工智能·云计算·aigc
爆改模型1 天前
【ICCV2025】计算机视觉|即插即用|ESC:超越Transformer!即插即用ESC模块,显著提升图像超分辨率性能!
人工智能·计算机视觉·transformer
带娃的IT创业者1 天前
《AI大模型应知应会100篇》第69篇:大模型辅助的数据分析应用开发
人工智能·数据挖掘·数据分析