Embodied VideoAgent 论文解读：机器人怎样持续记住动态场景

任务卡

一个常见的家庭多步任务：用户对机器人说"把桌上的碗收进橱柜，再看看桌面有没有落下的苹果"。

要完成这件事，机器人需要依次回答五个问题：

碗、桌子、橱柜、苹果分别在什么位置；
碗被拿起后，桌面状态发生了什么变化；
橱柜是开还是关，碗放进去之后与橱柜是什么关系；
苹果被杂物挡住、当前画面看不见时，还能不能找到它；
走完整个流程后，这些信息是否仍然保存在系统里。

这五个问题指向同一个能力：对动态场景的持久记忆。本文解读的论文正是围绕这一能力展开。

项目	内容
论文	Embodied VideoAgent: Persistent Memory from Egocentric Videos and Embodied Sensors Enables Dynamic Scene Understanding
作者	Yue Fan, Xiaojian Ma, Rongpeng Su, Jun Guo, Rujie Wu, Xi Chen, Qing Li
机构	北京通用人工智能研究院（BIGAI）、中国科学技术大学、清华大学、北京大学
会议	ICCV 2025 Spotlight
项目主页	https://embodied-videoagent.github.io
arXiv	2501.00358v2

图1 Embodied VideoAgent 总体概念：第一人称视频与具身传感器共同构建持久物体记忆，系统通过工具查询记忆、执行动作并回应用户请求。

来源：Fan et al., Embodied VideoAgent, ICCV 2025

一、问题：端到端模型为什么撑不起长任务

论文的出发点是一个明确的判断：让多模态大模型把长视频"一次性看完"，在具身场景里走不通。作者给出了三条理由。

第一，长视频的计算成本随帧数线性增长。 端到端模型需要把视频帧全部编码后做推理，视频越长，显存和算力开销越大。机器人在家庭场景中持续工作数小时，这种开销无法承受。

第二，具身传感器信息没有被利用。 机器人采集的不只是 RGB 图像，还有深度图和相机位姿。纯视频理解方法只处理像素，无法建立物体在三维空间中的精确位置，而三维位置恰恰是推理和规划的基础。

第三，场景被默认成静态的。 端到端模型的输出建立在"一次观测、长期有效"的假设上。但机器人执行抓取、开合、放置等动作后，物体状态会持续变化，不主动更新记忆，后续推理就会基于过期信息。

论文的技术基线是作者此前的工作 VideoAgent。VideoAgent 已经采用"多工具调用 + 临时记忆"的方式处理长视频，避免了一次性编码。但它的临时记忆只汇总视频中的物体出现次数，不记录物体在三维场景中的位置，也不处理动作发生后的状态变化。Embodied VideoAgent 的两项新设计，正是针对这两个缺口：从视频和具身传感器共同构建的持久物体记忆 ，以及基于 VLM 的记忆自动更新机制。

二、机制：记忆的生命周期------建、认、更、用

2.1 建：物体条目里存什么

图2 系统总览：左侧由视频、深度图与相机位姿构建持久物体记忆与历史缓冲，可由 VLM 驱动持续更新；右侧为感知推理工具与具身动作原语。

来源：Fan et al., 2025

系统把视频下采样为若干帧，每帧做一次开放词汇物体检测，检测模型为 YOLO-World。每检测到一个物体，就在记忆中建立一个条目。条目包含六个字段，这套字段定义在论文附录 A。

字段	含义	来源
ID	物体唯一编号与类别	检测与重识别
STATE	物体状态：open / close / in-hand / normal	VLM 更新
RO	相关物体：on / uphold / in / contain 四类关系	3D 框几何计算
3D Bbox	物体三维包围盒	深度图 + 位姿的 2D-3D 投影
OBJ Feat	裁剪物体图像本身的视觉特征	CLIP，移动平均
CTX Feat	物体被看见时所在整帧的视觉特征	CLIP，移动平均

三维包围盒通过 2D-3D lifting 得到，具体流程在附录 B：先用 YOLO-World 给出二维框和物体掩码，将掩码内的像素结合深度图、相机内外参投影到世界坐标系，得到物体表面点云；按到相机的距离排序，去掉最近 10% 和最远 10% 的点（前景和背景噪声），用剩余点的坐标最小、最大值确定三维框。

论文选择点云而非体素，理由是：三维框只需要表达"物体大概占据的空间"，点云在内存和计算上更省，且能在动态场景中持续更新。

OBJ Feat 和 CTX Feat 的区分值得注意。OBJ Feat 是物体裁剪图的特征，回答"这是什么"；CTX Feat 是整帧特征，回答"这东西通常在什么场景里出现"。CTX Feat 不参与重识别，只用于按环境线索做检索，例如"找厨房里的容器"。

图3 持久物体记忆条目可视化：每个三维框对应一个记忆条目，物体（如罐装番茄酱）在多帧中被跟踪、重识别，记忆条目随之更新。

来源：Fan et al., 2025

2.2 认：静态与动态双轨重识别

同一物体在不同帧里会被反复检测到，系统必须判断"这是新物体，还是老物体又出现了"。论文把记忆中的物体分成静态集合 S 和动态集合 D，分别用不同规则匹配。

视觉相似度（公式 1） 由两种特征加权：

复制代码

Visual(O_i, O_j) = 0.15 × CLIP(O_i, O_j) + 0.85 × DINOv2(O_i, O_j)

CLIP 与 DINOv2 的分数都是裁剪图特征的余弦相似度，DINOv2 占 0.85 的权重。

空间相似度有三个量：

Spatial_IoU（公式 2）：两个三维框交集体积 / 并集体积；
Spatial_MaxIoS（公式 3）：交集与两个框体积之比的最大值，用于识别"一个框被另一个包含"的关系，例如碗在桌上；
Spatial_Vol_Sim（公式 4）：两个框体积的最小值 / 最大值，衡量尺寸是否接近。

两条匹配规则对应论文算法 1 和算法 2：

静态物体匹配（算法 1）：Spatial_IoU > 0.2，或者 Spatial_MaxIoS > 0.2 且类别相同；
动态物体匹配（算法 2）：Spatial_Vol_Sim > 0.7 且 Visual > 0.45。

静态物体位置基本不动，框与框之间有稳定重叠，靠几何关系即可匹配；动态物体位置已经跳变，几何重叠不复存在，只能靠"尺寸是否接近 + 视觉特征是否同一物体"双重判定。

静态物体与动态物体的划分逻辑（附录 C.3）是：先假设新检测到的物体都属于静态，去相机视角变换下"它应该在的位置"验证，通过深度图排除遮挡；如果该位置框内的视觉特征与记忆中的物体相似度低于 0.45，说明物体不在原处，标记为动态。

匹配成功后的合并采用移动平均：静态物体窗口为 10，动态物体窗口为 2。动态窗口更小，是为了让物体移动后特征和位置能快速更新。

2.3 更：动作发生后怎样更新记忆

图4 VLM 记忆更新流程：动作发生后，由 VLM 对候选物体做两次是非判断完成目标关联，再写入状态。

来源：Fan et al., 2025

记忆系统的关键难点不在建立，而在动作发生后的更新。论文用"动作标注---目标关联---状态写入"三步完成。

第一步，动作标注。 用 LaViLa 对第一人称视频每两秒标注一次动作，例如"#C picks the bottle from the fridge"，再用 LLM（GPT-4o）从标注中提取涉及的物体（bottle、fridge）。

第二步，目标关联。 按类别筛选当前帧的候选物体，由 VLM 做两次是非判断（论文图 4）：

把候选物体的边界框单独裁出来，问 VLM："这个框里的物体是不是动作'#C catches the can'的目标？只回答 Yes 或 No。"
再问："这个物体是否在动作的作用对象范围内？"

两次确认后才认定目标。这一步用视觉提示把动作和记忆条目绑定，避免把动作错误关联到同类别其他物体上。

第三步，状态写入。 关联成功后，记忆更新是编程式的，不由模型自由生成：

pick 动作 → 目标状态写为 in-hand；
open / close 动作 → 容器状态写为 open / close；
place 动作 → 目标状态恢复为 normal，同时根据三维框几何写入 on/uphold 或 in/contain 关系。

当系统配置了具身动作原语、机器人自己执行任务时，VLM 转而承担验证职责：判断动作是否成功执行，再更新状态。

2.4 用：查询工具与动作原语

记忆只有被调用才有价值。论文把可调用的能力分成两组。

感知与推理工具（四个）：

query_db：检索持久物体记忆，按类别过滤后用视觉特征相似度排序，返回候选条目；
temporal_loc：从临时记忆中返回最符合描述的前 5 个帧编号；
spatial_loc：返回最符合描述的前 3 个三维位置；
frame_vqa：对给定画面或裁剪区域做开放式问答。

具身动作原语（七个）：

chat：与用户交互；
search：在场景中搜索指定物体；
goto：导航到指定位置；
open / close：开合容器；
pick / place：抓取与放置。

此外，系统维护两个历史缓冲区，记录记忆之外的动态信息：

动作缓冲区：每个动作的名称、作用对象编号、时间戳、当时的三维框；
可见物体缓冲区：每一帧检测到的物体编号、检测时间戳、三维框。

当推理需要"刚才发生了什么""这个物体上次在哪出现"时，LLM 直接查询缓冲区，而不是重新分析视频。

2.5 合成数据：双 Agent 自动生成交互片段

图5 合成数据生成框架：用户 LLM 基于部分场景图提出任务，助手 LLM 基于持久物体记忆与工具完成任务。

来源：Fan et al., 2025

训练具身基础模型需要大量"用户提出需求、机器人完成任务"的交互数据，真实采集成本很高。论文设计了一个双 Agent 框架：一个 LLM 扮演用户，基于部分场景图提出任务；另一个 LLM 扮演机器人助手，基于持久物体记忆和工具完成任务，在 AI-Habitat 仿真器中生成完整交互片段。用户角色被限制为只能提出"场景图中可完成"的任务，并通过随机遮挡场景图来激发好奇心，避免生成无解任务。

三、证据：四组数据与一次真机实验

论文的实验覆盖三类任务：三维物体定位、具身问答、长视频问答，另加一组位姿噪声消融。以下数据均来自论文正文表格。

图6 生成的用户-助手交互片段：覆盖"找碗、移动到餐桌、检查冰箱、递送土豆到桌面"等连续任务，全程依赖场景物体记忆与工具调用。

来源：Fan et al., 2025

数据卡 1：Ego4D-VQ3D 三维物体定位（表 1）

任务设定：给定一段第一人称视频和一个目标物体，输出目标在查询帧的三维位置。

方法	Ego4D↑	Succ%↑	L2↓	QwP%↑
EgoLoc	80.49	98.14	1.45	82.32
Ego4D*	73.78	91.45	2.05	80.49
Ego4D	12.22	30.77	5.98	1.93
Embodied VideoAgent（text）	53.05	94.57	2.00	56.10
Embodied VideoAgent（image）	85.37	92.72	1.86	92.07

（来源：论文表 1。指标含义：Ego4D 为总体指标，Succ% 为答案正确类查询的成功率，L2 为成功检测的平均距离误差，QwP% 为检测到目标的查询占比。）

两个结论：

图像版本 Ego4D 指标 85.37%，比 EgoLoc 高 4.88 个百分点（论文摘要报告的增益为 4.9%）；QwP 从 82.32% 提升到 92.07%，开放词汇检测器 YOLO-World 提供了更多候选物体。
Succ% 从 98.14% 降到 92.72%，L2 误差略升。论文解释为：高置信度预测的误差被两个指标单独评估，开放词汇的召回优势伴随少量预测精度折损，这是开放词汇方案的固有取舍。

数据卡 2：OpenEQA 具身问答（表 2）

方法	ScanNet	HM3D	全部
GPT-4 + LLaVA-1.5	45.4	40.0	43.6
Video-LLaVA	41.5	34.6	39.2
LLaMA-VID	33.4	34.0	33.6
Embodied VideoAgent（InternVL2-8B）	37.6	34.6	36.3
Embodied VideoAgent（GPT-4o）子集	39.7	43.0	41.2
Embodied VideoAgent（GPT-4o）完整集	46.0	48.2	47.0

（来源：论文表 2。表中前六行为难例子集结果，最后一行为完整 OpenEQA 验证集结果。）

论文原文报告：GPT-4o 版本完整集结果为 ScanNet 46.0%、HM3D 48.2%，分别比难例子集上的 Video-LLaVA（32.9%、27.8%）高 13.1 和 20.4 个百分点（46.0 − 32.9 = 13.1；48.2 − 27.8 = 20.4）。论文的分析是：temporal_loc 与 frame_vqa 配合，先定位帧再回答问题，比让端到端模型在全量帧上做推理更稳定；论文摘要报告在 OpenEQA 上的增益为 5.8%。

数据卡 3：EnvQA 长视频问答（表 3）

EnvQA 包含三类问题：Events（发生了什么）、Orders（动作先后）、States（物体最终位置）。

方法	Events	Orders	States
Video-LLaVA	10.19	39.00	18.50
LLaMA-VID	9.98	54.00	5.50
VideoAgent	5.54	65.5	12.5
Embodied VideoAgent	25.91	68.00	35.50

（来源：论文表 3。）

逐项对应机制：

Events 提升到 25.91，来自 VLM 记忆更新------每个动作与目标物体关联后被记录，长视频中事件识别不再丢失；
Orders 提升到 68.00，来自带时间戳的动作缓冲区；
States 提升到 35.50，来自三维框几何计算出的关系字段（RO），物体最终被谁持有、放在何处可直接查询。
论文摘要报告在 EnvQA 上的增益为 11.7%（该数字为论文摘要直接给出，具体对比口径以论文摘要为准）。

数据卡 4：噪声位姿下的鲁棒性（表 4）

真实世界的相机位姿存在估计误差。论文在 OpenEQA 难例子集上对比了仿真器真值位姿与 DUS3R 估计的噪声位姿：

设定	ScanNet	HM3D	全部
真值位姿	39.7	43.0	41.2
噪声位姿	38.2	42.2	40.0

（来源：论文表 4。）

全部指标仅下降约 1 个百分点。补充说明：论文在 Ego4D 实验中使用 COLMAP 估计位姿，在问答实验中使用 DUS3R 估计位姿，均不依赖动作捕捉等真值设备。论文认为，记忆与工具提供了冗余通路，位姿误差导致的单帧偏差可被多步任务消解。

真机实验：遮挡下的抓取（图 7）

图7 真机遮挡抓取：苹果被盒子遮挡后，机器人依据持久记忆中苹果的位置移开盒子，完成抓取。来源：Fan et al., 2025

论文在 Franka 机械臂上做了一次真机验证：任务是拿起桌上的苹果，过程中一个盒子被移动到苹果前方，苹果在画面中完全被遮挡。系统依靠持久记忆中苹果的最后位置，先移开盒子，再完成抓取。

这组实验对应任务卡中的第 4 个问题：当目标不在当前视野中时，记忆是唯一可依赖的信息来源。

四、个人认为对启元的接入路线

4.1 场景对应

论文的验证场景偏通用室内，但机制与启元产品线的对应关系是直接的。

T1 未来家 AI 机器人（家庭场景）。 T1 以家庭移动、陪伴为核心，长任务包括送餐、巡检、整理。持久物体记忆可支撑"去上次放钥匙的地方找钥匙""记住水杯被拿到了哪里"这类跨时段任务。轮式模式下机身噪声低、运动平稳，适合持续采集第一人称视频；四足模式覆盖复式、楼梯，可在多楼层场景中分别维护记忆。

Q1 人形机器人（操作场景）。 Q1 有 22 个自由度，上肢操作涉及大量开合、抓取、放置动作。论文的状态机与动作原语（open/close/pick/place）可以直接对应到 Q1 的 Skill 设计：动作执行前先查询记忆确认目标，执行后验证并更新状态，避免基于过期信息操作。

开发者生态（Skill 资产复用）。 论文的双 Agent 数据生成框架为启元提供了一条降低 Skill 开发成本的路径：在仿真中用"用户 Agent + 机器人 Agent"批量生成带记忆标注的交互数据，开发者只需定义原子动作和场景约束，即可生成多步骤 Skill。

4.2 三阶段路线

阶段	内容	产出
第一阶段：记忆底座	在现有几何建图上新增物体条目层，先打通"检测---三维框---条目"链路，覆盖家庭高频 20 类左右物体	带物体记忆的导航原型
第二阶段：状态闭环	接入动作标注与双 VLM 目标关联，实现 pick/open/close/place 后的状态写入；同步建立动作与可见物体缓冲区	可执行多步任务的 Skill 框架
第三阶段：生态与数据	用双 Agent 框架在仿真中批量生成交互数据；将记忆查询、动作原语封装为标准接口开放给开发者	记忆类 Skill 工具链

4.3 可能踩坑的地方

记忆更新不能让模型自由生成。 物体状态词表只有四个（open / close / in-hand / normal），必须由代码写入，VLM 只负责关联目标和验证，否则会出现不存在的状态。
动态窗口要小、静态窗口要大。 动态物体仍用大窗口平均，位置会滞后，移动场景中表现为"机器人追着旧位置走"。
CTX 特征不参与身份判定。 场景特征只用于按环境检索，参与重识别会把"同场景的不同物体"错认成同一物体。
安全链路保持独立。 记忆是上层决策依据，底层避障和碰撞保护不能依赖记忆，感知失效时记忆中的过期位置可能直接导致碰撞。

五、参考信息

论文 PDF：https://arxiv.org/pdf/2501.00358v2
项目主页：https://embodied-videoagent.github.io
引用格式：Y. Fan, X. Ma, R. Su, J. Guo, R. Wu, X. Chen, Q. Li, "Embodied VideoAgent: Persistent Memory from Egocentric Videos and Embodied Sensors Enables Dynamic Scene Understanding", Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2025.