快速了解部分
基础信息（英文）：
- 题目: How Much 3D Do Video Foundation Models Encode?
- 时间: 2025.12
- 机构: University of Illinois at Urbana-Champaign, Impossible, Inc.
- 3个英文关键词: Video Foundation Models, 3D Awareness, Model-Agnostic Probe
1句话通俗总结本文干了什么事情
本文通过设计一个轻量级的"探测器"模型，首次在不微调视频大模型的情况下，量化评估了它们内部到底蕴含了多少关于三维世界的理解能力。
研究痛点：现有研究不足 / 要解决的具体问题
现有的3D数据难以大规模获取，而视频是2D投影。虽然大家认为视频大模型（VidFMs）可能从2D视频中学到了3D知识，但目前缺乏一个通用的、不依赖特定任务微调的评估框架来直接量化这种"3D意识"。
核心方法：关键技术、模型或研究设计（简要）
设计了一个浅层Transformer探测器（Probe），输入冻结的视频大模型特征，直接预测3D点云、深度图和相机位姿，以此衡量原模型特征中蕴含的3D信息量。
深入了解部分
相比前人创新在哪里
这是首个模型无关(Model-Agnostic)的评估框架。与前人不同，它不需要对基础视频模型进行微调或3D特定优化，就能直接探测不同家族（如生成式、自监督）视频模型的3D理解能力。
解决方法/算法的通俗解释
这就像是给一个已经训练好的视频模型戴上了一个简单的"3D眼镜"（探测器）。我们不改变视频模型本身，只训练这个"眼镜"去解读视频模型输出的特征，并尝试还原出场景的3D结构。如果"眼镜"能很容易地还原出准确的3D画面，说明原视频模型内部已经具备了很强的3D理解。
解决方法的具体做法
- 特征提取：冻结各种视频大模型（如WAN, Open-Sora2.0等），输入视频片段，提取其中间层的空间特征。
- 探测器设计：构建一个包含4层交替注意力机制的浅层Transformer，后面接三个预测头（分别预测3D点图、深度图、相机位姿）。
- 训练与评估：只训练探测器部分，利用损失函数（如L2损失、Huber损失）衡量预测的3D属性与真实值的差距，误差越低代表原模型的3D意识越强。
基于前人的哪些方法
- DIFT：用于从扩散模型中提取特征的方法。
- VGGT：本文的探测器架构借鉴了VGGT的设计（交替注意力机制），但做得更浅。
- Probe3D：借鉴了对图像模型进行3D探测的思路，但将其扩展到了视频领域。
实验设置、数据、评估方式、结论
- 数据集：CO3Dv2（物体级）和 DL3DV（复杂场景级）。
- 评估指标 ：
- Point Err：3D点云预测误差（越低越好）。
- Depth Err：深度图预测误差（越低越好）。
- AUC@5/30：相机位姿预测的旋转和平移联合准确率（越高越好）。
- 主要结论 ：
- 强3D意识：前沿视频生成模型（如WAN2.1-14B）即使只在2D数据上训练，也展现出了极强的3D理解能力，甚至在复杂场景上超过了专门训练的3D模型（Fast3R）。
- 时间推理至关重要：具有时间推理能力的视频模型比仅基于单帧图像的模型（DINOv2）具有更强的全局3D理解。
- 位置规律：在扩散模型中，中层且早期（非第一步）的时间步特征蕴含的3D信息最集中。
提到的同类工作
- Sora：作为视频生成模型的代表被提及。
- V-JEPA：作为自监督视频编码器的代表被评估。
- Fast3R：作为专门用于3D重建的SOTA模型，作为"Native 3D控制组"进行对比。
- DINOv2：作为图像基础模型的代表，作为"Per-frame Image控制组"进行对比。
和本文相关性最高的3个文献
- Probe3D：这是本文方法论最直接的灵感来源，本文是其在视频领域的扩展。
- VGGT：本文不仅使用了其架构设计探测器，还将其作为基准，证明了使用视频大模型特征比DINO特征更能提升3D重建效果。
- Fast3R：作为本文主要对比的"3D专家模型"，用于衡量视频大模型的3D能力是否达到了专业水准。
我的
这篇文章结论说明只需要2D数据，利用2D的Scaling可以学到3维信息。而且可以用2D训练好的模型来加head提取3Dfeature。不过主要探究的都是视频生成模型。