TrajectoryCrafter：腾讯黑科技！单目视频运镜自由重构，4D生成效果媲美实拍

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

🎬 「运镜解放！腾讯ARC黑魔法：随手拍视频竟能后期改运镜轨迹？」

大家好，我是蚝油菜花。你是否经历过这些创作困境：

今天要揭秘腾讯ARC Lab的 TrajectoryCrafter ，这个用AI重构物理定律的神器，能让你在后期随意修改视频的相机轨迹！

🛠️ 三大颠覆性突破：

导演们已经用它重制经典镜头，电商团队靠它生成360°产品展示------你的下个百万播放视频，可能就差这一次「运镜自由」！

🚀 快速阅读

TrajectoryCrafter 是一项用于单目视频相机轨迹重定向的创新技术。

TrajectoryCrafter 是由腾讯PCG ARC Lab和香港中文大学联合推出的一项创新技术，专注于单目视频的相机轨迹重定向。它允许用户在后期自由调整视频的相机位置和角度，轻松改变视频中的运镜方式，为视频创作提供更多可能性。

该技术基于解耦视图变换和内容生成的双流条件视频扩散模型，通过点云渲染和源视频作为条件输入，实现对用户指定相机轨迹的精确控制和高质量的4D内容生成。TrajectoryCrafter 的创新之处在于其双重重投影策略和混合数据集训练方法，显著提升了模型在多样化场景中的泛化能力。

双流条件视频扩散模型：将相机轨迹的确定性变换与内容生成的随机性分开处理，基于点云渲染实现精确的视图变换，用视频扩散模型生成高质量的内容。
双流条件机制：模型包含两个条件输入：点云渲染（用于精确控制视图变换）和源视频（用于提供细节和纹理）。通过独特的Ref-DiT模块（参考条件扩散变换器），将源视频的细节信息通过交叉注意力机制注入到生成过程中，提升生成视频的保真度。
动态点云渲染：通过深度估计将单目视频转换为动态点云，根据用户指定的相机轨迹渲染新视图。点云渲染准确捕捉几何关系和视图变换，提供几何指导。
混合数据集与训练策略：采用混合数据集策略，结合网络规模的单目视频和静态多视角数据集进行训练。通过双重重投影策略生成大规模的训练样本，提升模型在多样化场景中的泛化能力。

bash 复制代码

git clone --recursive https://github.com/TrajectoryCrafter/TrajectoryCrafter.git
cd TrajectoryCrafter

bash 复制代码

conda create -n trajcrafter python=3.10
conda activate trajcrafter
pip install -r requirements.txt

可以通过 HuggingFace 或 git-lfs 下载预训练模型：

bash 复制代码

# 使用 HuggingFace（推荐）
sh download/download_hf.sh 

# 使用 git-lfs（速度较慢但更稳定）
sh download/download_lfs.sh

通过命令行运行推理脚本：

bash 复制代码

sh run.sh

运行本地 Gradio 演示：

bash 复制代码

python gradio_app.py

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦