论文泛读
基础信息
题目：Whole-Body Conditioned Egocentric Video Prediction
时间：2025年6月（arXiv）
机构：UC Berkeley、Meta FAIR、NYU
关键词：egocentric video prediction, whole-body pose, diffusion transformer
一句话总结
作者想让模型根据"人怎么动身体"预判第一人称画面会怎么变，于是用全身 3D 姿态当控制信号来生成未来视角视频，比只用简单导航控制的方法更贴近真实动作带来的视觉变化。
为什么要做
已有第一人称视频预测多用速度、朝向这类粗控制，几乎不管手臂、躯干等全身动作。现实中伸手、转身都会立刻改变你看到的内容，缺了全身条件，模型很难真正按人的动作去"想象"接下来看到什么。
做了什么
输入是过去几帧第一人称画面，加上一串相对 3D 姿态变化（根部位移与各关节相对旋转）。画面先压成潜变量，再用条件 Diffusion Transformer 按动作逐步去噪，自回归生成下一帧；训练时随机跳帧，让模型也能学几秒后的变化。和已有方法最实质的区别是：控制信号从低维导航指令换成了结构化的全身姿态轨迹。
结果如何
在超前约 2 秒的单步预测上，感知与语义相似度、生成质量都好于同类条件 Diffusion 基线；拆成前进、转身、举手等原子动作时，大模型也更跟得上。长期能滚到约 16 秒，但越远越糊；用预测画面挑动作做规划只有定性示例，证据偏弱。
最后记住
值得记住的是：用真实同步的第一人称视频 + 全身动捕，证明"怎么动"可以直接驱动"会看到什么"。主要局限是规划仍很初步（多只动单臂、靠图像相似度选动作），且未条件化任务意图。