【论文阅读】Whole-Body Conditioned Egocentric Video Prediction

论文泛读

基础信息

题目:Whole-Body Conditioned Egocentric Video Prediction

时间:2025年6月(arXiv)

机构:UC Berkeley、Meta FAIR、NYU

关键词:egocentric video prediction, whole-body pose, diffusion transformer

一句话总结

作者想让模型根据"人怎么动身体"预判第一人称画面会怎么变,于是用全身 3D 姿态当控制信号来生成未来视角视频,比只用简单导航控制的方法更贴近真实动作带来的视觉变化。

为什么要做

已有第一人称视频预测多用速度、朝向这类粗控制,几乎不管手臂、躯干等全身动作。现实中伸手、转身都会立刻改变你看到的内容,缺了全身条件,模型很难真正按人的动作去"想象"接下来看到什么。

做了什么

输入是过去几帧第一人称画面,加上一串相对 3D 姿态变化(根部位移与各关节相对旋转)。画面先压成潜变量,再用条件 Diffusion Transformer 按动作逐步去噪,自回归生成下一帧;训练时随机跳帧,让模型也能学几秒后的变化。和已有方法最实质的区别是:控制信号从低维导航指令换成了结构化的全身姿态轨迹。

结果如何

在超前约 2 秒的单步预测上,感知与语义相似度、生成质量都好于同类条件 Diffusion 基线;拆成前进、转身、举手等原子动作时,大模型也更跟得上。长期能滚到约 16 秒,但越远越糊;用预测画面挑动作做规划只有定性示例,证据偏弱。

最后记住

值得记住的是:用真实同步的第一人称视频 + 全身动捕,证明"怎么动"可以直接驱动"会看到什么"。主要局限是规划仍很初步(多只动单臂、靠图像相似度选动作),且未条件化任务意图。

相关推荐
深蓝AI1 天前
12000 名工程师的高盛,只用四个月就收回了交易员的 AI 编程权限
人工智能·程序员
怕浪猫1 天前
这个十几个agent 协作项目值得关注
人工智能·面试·github
starzy19901 天前
深入理解Scala隐式类:扩展方法机制
开发语言·人工智能·scala
深蓝AI1 天前
为什么 agent 的 demo 都很惊艳,上了生产就不靠谱
人工智能·程序员
数字新视界1 天前
信创动环监控在机房环境管理中的智能化应用与实践分析
大数据·人工智能·物联网·信息与通信·动环监控系统
岁月宁静1 天前
DeepSeek Harness 实战与架构解析:让 Agent 从“会聊”到“能交付”
人工智能·python·agent
深蓝AI1 天前
一个项目五个 AI 同时干活,Claude Code 怎么让它们不互相打架
人工智能·程序员
forest_091 天前
多 Agent 协作第二课:交叉验证≠独立验证
人工智能·python·算法·机器学习·prompt·agi
ZONGYUAN-ROOT1 天前
【工具治理】Nginx换机丢16子域事故复盘
人工智能
dozenyaoyida1 天前
AI与大模型新闻日报 | 2026-11-08
人工智能·搜索引擎·ai·大模型·新闻