Has GPT-6-Astra Achieved Embodied Intelligence?——GPT-6-Astra 是否实现了具身智能？

一、研究核心问题

这篇技术报告以 GPT-6-Astra 为"透镜"，追问一个比"它有多强"更根本的问题：一个通用基础模型在多大程度上可以替代专用机器人策略（VLA、WAM），以及这一能力水平对具身智能研究意味着什么、领域下一步该往哪走。 报告的核心结论是：GPT-6-Astra 已大幅跨过"具身能力"门槛，但尚未跨过"实用具身智能"门槛；关键挑战在于把基准上的成功转化为可靠、高效、可规模化的真实世界部署。

二、四项主要研究工作

研究一：大规模仿真基准评估------探查能力上限

方法： 在 12 个代表性基准上评估，覆盖桌面机械臂、人形机器人、移动平台、灵巧手四类具身形态。采用统一协议，包含两项关键设计：

允许上下文学习（ICL）： 测试前用训练集示范构建"冻结知识包"（含任务指导、动作参考、视觉参考、可执行辅助函数、检查与恢复流程、元数据六类组件），测试中模型权重和知识包均不变，每个回合独立会话。
扩展执行预算至 10×： 标准预算之外允许最多十倍 action steps，用于衡量"反复纠错"带来的增益。

主要结果：

标准预算（1×）下即匹配或超越多数基准的已发表 SOTA；LIBERO 系列、SIMPLE 接近饱和；RoboDojo 达 81.9%，DexJoCo 达 87.3%。
扩展至 10× 后，RoboDojo 成功率约翻三倍、Bench2Dex 翻倍以上，说明标准步数限制会低估能力，失败恢复能力是额外预算转化为成功的关键机制。
ICL 在训练分布覆盖好的任务上收益巨大（如 SIMPLE 四任务从 70.8% 升至 90.8%），但难以迁移到示范来源之外的任务（RoboDojo Open 组、RoboLab 表现中等）。

识别出的六项局限： ①ICL 跨任务迁移差；②推理成本与执行时间远超商用可行范围（单回合可达百万至九百万 token、近一至两小时）；③难以验证物理成功、识别未满足条件；④难以诊断失败原因；⑤无法从不可逆失败中恢复；⑥长时程中难以保持和跟踪进展。

三种典型失败模式： 物理成功验证失败（如误判杯子已挂上、鸡蛋已坐稳）、后果性动作不可逆（洒液、掉落零件）、长时程进展丢失（调整耳罩时拉掉头带、罐子倾倒）。

研究二：框架（Harness）消融------性能与成本权衡

系统 1---系统 2 协作： 以 GPT-6-Astra 为系统 2、RoboDojo 微调的 π₀.₅ 为系统 1，比较独立 VLA、开环协作、闭环协作（GPT 审查/修改/拒绝 VLA 提出的 EEF 动作）。

独立 VLA 仅 6.91%，开环 5.83%；闭环逐动作审查提升最多 20 个百分点，但需 7.664M token。
审查视野扩至 L=4 后，token 降 63.5%、成功率反升至 25.83%；ICL + 闭环 VLA 达 54.17%，但 token 达 19.335M（约 6.9 倍）。
结论：仅委托系统 1 不够，频繁系统 2 监督太贵；应使验证与恢复更具选择性。

动作表示与分块：

方向性运动命令比绝对 EEF 目标提升 2.50 个百分点；直接关节角控制下降 5.84 个百分点 → 存在多模态推理与低层控制之间的表示鸿沟。
固定分块（L=4）降 4.17 个百分点；自适应分块（L∈{1,2,3,4}）升 4.44 个百分点但 token 更高。
结论：应暴露语义对齐的动作命令，将精确执行委托给控制器，并用自适应视野平衡性能与成本。

研究三：真实世界验证------仿真成功的可迁移性

协议修正： ①零样本（无示范、无知识包）；②以人类编写的结构化先验（工具模式、关节限制、安全约束等）替代知识包；③以 wall-clock 时间（通常 60 分钟）替代步数预算，由人依物理结果判成功。

部署平台： 8 个平台、5 类具身形态------Franka 3、Franka Panda、AgileX PiPER+Pika（单臂）；双臂 AgileX Piper；Tianji M6S + Wuji 灵巧手；Galaxea R1 Pro 轮式移动操作臂；AgileX Tracer + xArm7 导航；Unitree G1 人形机器人。

三项发现：

一个模型驱动所有具身形态，但成功高度依赖任务： 刚性拾放可靠（17/18），可变形物体、精确接触（插头插入 0/11）、长时程移动任务明显更难；双臂扩展了任务范围；场景变化时可重新规划。
能力取决于"能看见什么"------主动视觉： 插花任务中，单臂 Franka 3 因腕部相机看不到花瓶口而失败；双臂 Piper 通过移动空闲臂让腕部相机看到瓶口而成功。视点本身成为动作空间的一部分，而遥操作示范中几乎不存在这种行为。
系统 2 可叠加在现有系统 0 运动控制之上： 在 Unitree G1 上通过厂商速度接口与解耦 WBC/AMO 控制器完成操作（2/3）与移动（3/3），但确立的是慢速反馈监督下的可行性，而非可靠实时视觉运动控制。

真实世界的三重约束（仿真未建模）：

安全： 接触超限触发保护性停止并终止试验，硬件级故障无法恢复，部分结果不可逆。
机械限制： 模型无法感知负载（灵巧手关节因负载停滞、达 62°C 自设阈值中断）；过热故障可终止长时间试验。
实时性： 仿真中环境暂停，真实中时间累积一切成本；G1 上约 90% 时间用于思考，单次操作试验超一小时 → "更长执行换更高成功"在硬件上并非免费。
示范缺失重塑 ICL： 人类上下文仍是专家提示工程，质量直接影响结果（无预定义抓取原语时灵巧手失败）。

研究四：下一代具身基准的设计原则与原型

问题诊断： 现有具身基准为模仿学习策略设计------收集示范、拟合策略、同任务留出评估；其成功依赖示范可得性与免费额外步数，且 BDDL/PDDL 式目标继承经典规划假设（完全指定目标、二值成功、时间以步计、给定世界模型）。提高难度无法改变这一结构性偏差。

三条设计原则：

任务源自人类需求： 按人表述需求设任务（不限于机器人已能做的），同时包含未言明的义务（炉灶、水龙头、自开柜门），义务与显式请求同部署、按世界时钟设截止。
以需求表述的请求不能用目标公式评判： "做早餐"有多种细化，应按结果效用评分而非满足谓词比例；固定检查可能自相矛盾（Bench2Dex 要求瓶直立而指令未提）；评判者谓词应建立在智能体不可见的物理量上，并用人类偏好排序验证评判者本身。
测试时获取经验 + 世界持续运行： 不提供领域内示范或场景特定示范，智能体须自行探索未见的家与具身形态；评判观察整个世界时钟轨迹（含声明完成之后），时间在前一命令下模拟，义务成为轨迹约束（:never、:whenever 模式）。

家庭概念验证原型揭示的定性失败：整理时碰撞推落物品、冰箱门长时间敞开、门挡住另一臂导致取不到培根、水龙头未关导致溢水、煎蛋因决策耗时 8 秒+关火延迟 90 秒而烧焦------说明 GPT-6-Astra 会"决定该做什么"，却难以"在世界不等它的情况下按决定行动"。

开放挑战： 评判证据（物理量级评判、VLM 评判者可靠性不足）、仿真保真度（建模错误与智能体行为混淆）、世界时钟成本（推理延迟须模拟、部署昂贵且试次少难以区分策略）。

三、总体结论

维度	结论
能力层面	已跨过具身能力门槛：统一模型跨 12 基准、8 真实平台，接近/超越专用 SOTA，具备零样本泛化、ICL、失败恢复雏形。
实用层面	尚未跨过实用具身智能门槛：成本（百万级 token/小时级时间）、物理验证、不可逆恢复、长时程保持、真实世界安全/机械/实时约束仍是硬瓶颈。
方法启示	强框架设计（动作接口对齐推理、系统 1/2 选择性协作、自适应分块）+ ICL + 充分预算可把孤立基准推至饱和，但前沿已转向跨任务迁移、长时程推理与真实部署可靠性。
基准启示	基准成功需谨慎解读；下一代基准应以人类需求定义任务、以效用而非目标谓词评判、不提供示范、世界时钟持续运行。

报告通过"仿真大规模评估 → 框架消融 → 真实机器人验证 → 新基准原型"四步递进研究，论证 GPT-6-Astra 已证明通用模型作为具身控制器的能力上限，但把基准成功转化为可靠、高效、可规模化的真实部署，才是具身智能真正的前沿。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

官方项目主页地址在这里，如下所示：

项目地址在这里，如下所示：

摘要

GPT-6-Astra 在机器人操作与导航方面展现出的能力水平，挑战了为单个任务和单一具身形态构建专用模型的传统范式。在本报告中，我们不仅追问 GPT-6-Astra 的能力有多强，更追问其能力对该领域意味着什么。首先，我们探查独立 GPT-6-Astra 的能力边界。我们在 12 个代表性基准上开展了大规模评估，覆盖桌面操作、人形机器人、移动平台和灵巧手。在统一协议下------允许从训练集示范中进行上下文学习（ICL），并大幅增加执行步数------GPT-6-Astra 取得了前所未有的性能（图 1）。我们的分析表明，未来研究应日益聚焦于改进：1）上下文学习的泛化性；2）成本与执行时间；3）物理状态验证；4）从不可逆失败中恢复；5）长时程任务中对已有进展的保持。其次，我们研究了用于具身控制的智能体框架（harness）。除探索理想的动作表示与分块（chunking）参数外，我们发现高层"系统 2"推理器（即 GPT-6-Astra）与低层"系统 1"控制器（如 π0.5）之间的闭环协同虽然成本高昂，但十分有效。第三，我们在真实世界部署中检验 GPT-6-Astra。我们在 8 种机器人配置上的实验揭示了显著差距：1）上下文学习所需的机器人示范数据采集成本高昂；2）在物理约束下，用更长的执行时间换取更高成功率并不现实。第四，我们展望下一代具身基准。我们开发了一个原型，其特点为：1）任务源自真实世界需求而非当前机器人能力；2）不提供领域内示范；3）在世界时钟持续运行的情况下评判智能体（即智能体思考时世界不会暂停）。综合来看，我们的结果表明，GPT-6-Astra 已在很大程度上跨过了具身能力的门槛，但尚未跨过实用具身智能的门槛。剩余的关键挑战在于将基准上的成功转化为可靠、高效且可规模化的真实世界部署。

图 1 GPT-6-Astra 在 12 个基准上的能力上限探查，统一协议为：1）允许在训练集上进行上下文学习（ICL）；2）将步数上限（预算）延长至 10×。RoboLab 无训练集，因此无 ICL；BEHAVIOR 因官方预算已很大，未扩展至 10×。SOTA 截止日期：2026 年 10 月 12 日。详见附表 2。

1 引言

GPT-6-Astra 的出现标志着具身智能的一次重大转变：一个通用模型如今能够处理以往由专用模型（如 VLA 和 WAM）主导的机器人操作与导航任务，同时展现出零样本泛化、上下文学习和失败恢复等能力。在本技术报告中，我们以 GPT-6-Astra 为透镜，考察一个更广泛的问题：这一新的具身能力水平对研究界意味着什么，该领域下一步应走向何方？我们首先在多样化具身任务上开展大规模评估，刻画其能力边界并识别哪些问题已接近饱和。随后我们研究框架（harness）设计，以理解将这些能力转化为有效控制所涉及的性能---成本权衡。接着我们在真实机器人上验证发现，追问基准成功在多大程度上可迁移至物理部署、还存在哪些差距。最后，我们重新审视基准设计，并展望下一代具身基准应呈现的形态。

首先，我们在统一协议下探查 GPT-6-Astra 具身能力的上限。我们在 12 个代表性基准上开展大规模研究，覆盖桌面机械臂、人形机器人、移动平台和灵巧手。在该协议下，GPT-6-Astra 以显著优势超越现有方法，包括同样基于 GPT-6-Astra 的近期智能体方法。值得注意的是，如图 1 所示，它在 LIBERO 系列和 SIMPLE 上接近饱和，同时在 RoboDojo 上达到 81.9%、在 DexJoCo 上达到 87.3%。该协议遵循两条简单且动机充分的原则：

1）只要存在成功示范，我们就允许从训练集进行上下文学习（ICL）。我们认为这是合理的，因为在训练较小的任务专用策略时，此类示范通常是可获得的。GPT-6-Astra 研究可用的训练数据，并构建一个冻结的知识包，包含任务指导、动作与视觉参考、可执行辅助函数、恢复流程和元数据。测试时，它检索并适配这些资源到当前场景。当示范与测试分布高度接近时，这能显著提升性能，但随着任务偏离构建知识包所用的数据，收益会减弱。

2）我们大幅增加执行预算，允许最多 10× 于官方设置的交互步数。我们发现标准步数限制会显著低估 GPT-6-Astra 的能力。额外交互在受益于反复纠正的任务（如 RoboDojo 和 Bench2Dex）上带来大幅提升，因为 GPT-6-Astra 能够检测失败动作、修正策略并通过进一步交互恢复。这种新兴的失败恢复能力，正是更大执行预算能转化为更高成功率的关键机制。

强有力的实证结果使我们能够更清晰地识别 GPT-6-Astra 的剩余局限。具体而言，我们发现：i）上下文学习难以迁移到示范来源任务之外；ii）即使是简单任务，其推理成本和执行时间也远超商业部署的可行范围；iii）GPT-6-Astra 常常难以验证物理成功，也难以识别哪个任务条件尚未满足；iv）GPT-6-Astra 常常难以识别任务失败的原因；v）它无法可靠地从后果性或不可逆失败中恢复；vi）长时程执行仍然困难，模型难以在多个子任务间保持和跟踪进展。

其次，我们消融了框架设计，发现有效释放 GPT-6-Astra 的具身性能，关键取决于协作协议和动作接口。我们首先研究"系统 2"（即 GPT-6-Astra）与"系统 1"（如 π0.5 $12$ ）之间的交互。闭环协作------GPT-6-Astra 在执行前审查并改进 VLA 提出的动作------相比独立或开环执行显著提升性能，但频繁的系统 2 监督会带来可观的 token 成本。审查更长的动作序列能改善这一权衡，而将闭环协作与 ICL 结合则能以最高成本获得最强性能。我们进一步研究动作表示与分块，并识别出多模态推理与低层机器人控制之间的表示鸿沟。直接关节角控制表现较差，而语义更对齐的末端执行器命令效果更好；自适应动作分块进一步提升性能，同时减少不必要的模型调用。综合来看，这些发现表明，框架设计应暴露与模型推理能力对齐的动作空间，同时将精确执行委托给低层控制器，并通过自适应交互来平衡性能与推理成本。

第三，我们在真实机器人上验证 GPT-6-Astra，涵盖单臂与双臂、夹爪、灵巧手、轮式移动操作臂和人形机器人。我们的研究揭示了三个关键发现。1）GPT-6-Astra 能在广泛具身形态上有效运行，但其成功率高度依赖任务。它在桌面抓取等任务上表现尤佳，而可变形物体操作、精确接触和长时程任务仍然具有挑战性。2）GPT-6-Astra 展现出令人惊讶的主动视觉能力，会有意重新调整相机位置以获取后续动作所需的观测。3）GPT-6-Astra 表明，一个缓慢的"系统 2"模型可以直接与高频"系统 0"移动控制器协作，完成需要高频局部控制的人形机器人操作。与此同时，真实世界部署带来了仿真中基本不存在的挑战。由于安全约束、机械限制和实时性要求，GPT-6-Astra 不再能轻易用额外执行步数换取更高成功率。此外，成功轨迹示范------我们在仿真中 ICL 设置的核心------在真实应用中往往昂贵或不可获得。

第四，我们展示了一个我们设想的下一代具身智能基准原型。我们提出三条原则。1）任务应源自人类需求，并像人们自然表述那样表达，评估应基于结果的效用而非固定目标状态。2）不应提供领域内训练回合或场景特定示范；相反，智能体应在部署期间获取经验。3）世界应在智能体思考时持续演化，使推理时间及其物理后果成为评估的一部分。该原型在面向部署的设置中使若干剩余局限更加明显：i）GPT-6-Astra 关注当前步骤，但可能失去对环境中所造成其他变化的跟踪，例如让冰箱一直开着；ii）没有示范时，它难以弄清不熟悉的物体和机制如何运作，或如何调整自身身体与之交互；iii）由于它推理时世界持续变化，其观测可能在结果动作执行前就已过时。构建此类基准也在可靠评判、仿真保真度、实时评估和评估成本方面带来实际挑战。

总之，通过将 GPT-6-Astra 推向其能力极限、剖析实现这一性能的框架、在真实机器人上验证其行为，并重新思考具身智能应如何评估，我们旨在厘清哪些已经改变、哪些仍未从根本上解决。

2 统一协议下的大规模研究

我们在单一协议下研究 GPT-6-Astra 的十二个具身设置，涵盖操作、人形机器人移动操作、家务活动和导航，其模型权重保持不变。两项条件塑造了本研究：上下文学习（ICL），让 GPT-6-Astra 访问训练传统策略所用的相同训练示范；以及扩展交互预算，让它在单个回合内有更多机会纠正错误。

2.1 协议

我们的研究覆盖十二个评估设置，分为五类：桌面操作（RoboDojo $26$ 、RoboLab $161$ 、LIBERO-Long++ 和 LIBERO-Ultra-Long $162$ 、LIBERO-PRO $183$ ）、灵巧操作（Bench2Dex $163$ 和 DexJoCo $144$ ）、人形机器人移动操作（SIMPLE $152$ ）、长时程家务活动（BEHAVIOR $8$ ）以及视觉语言导航（VLN-CE R2R 和 RxR $87$ 、LHPR-VLN $134$ ）。

我们在示范信息协议下评估 GPT-6-Astra，使用两种交互预算（1× 和 10×），如图 2 所示。该协议将使用训练示范的准备阶段与测试时交互分离。我们报告标准预算下的性能，以及允许更多执行和恢复交互步数的扩展预算下的性能。

动机。 学习型机器人策略通常由基准提供的示范训练或微调。因此，在不访问这些示范的情况下评估 GPT-6-Astra，将衡量其在不同信息条件下的性能。我们使用上下文学习（ICL）研究 GPT-6-Astra 在不更新模型权重的情况下，能多有效地利用可用训练示范。我们的目标是刻画这样一种能力：当训练传统策略所用的任务相关信息也通过上下文准备提供给它时，它能达到什么水平。

我们还研究交互预算的影响。在我们的评估中，GPT-6-Astra 经常识别失败动作、修正策略并通过进一步交互恢复。严格的步数限制可能在此恢复过程成功之前终止它。因此我们在两种预算下评估。标准预算（1×）是各基准规定的交互预算，衡量其预期条件下的性能；扩展预算（10×）允许最多十倍的 action steps，衡量策略有更多纠错机会时任务完成度的提升。

上下文学习准备。 测试前，GPT-6-Astra 针对每个任务进行独立的 ICL 准备阶段，使用可用的训练示范（以基准适配的观测和示范动作表示）。准备期间，GPT-6-Astra 可分析示范并开发任务特定笔记和可复用代码。这些材料构成知识包，在评估前冻结，并提供给该任务的每个测试回合。GPT-6-Astra 的模型权重保持不变。准备过程排除留出测试回合和评估者私有信息。

回合评估。 每个测试回合在全新、隔离的会话中开始，包含任务指令、冻结的知识包以及允许的观测和动作接口。在每个决策点，GPT-6-Astra 检查当前观测，并指定下一个动作或动作序列。环境执行这些动作并返回新观测，GPT-6-Astra 据此评估结果并决定下一步。交互历史在回合内保留，使 GPT-6-Astra 能诊断错误并尝试恢复。测试期间知识包和模型权重均不更新，一个测试回合的信息不会转移到另一个。观测访问、机器人控制动作语义、控制频率和成功标准在预算条件间保持一致。

扩展交互预算。 扩展预算允许最多十倍于标准预算的 action steps。我们报告 1× 以及标准预算 2×、......、10× 累计截止点的结果，使用相同初始化、策略配置和成功标准。扩展延续同一回合，保留其交互历史和累积的环境后果；额外尝试在该回合内发生，而非通过重置。回合在验证成功、适用的终端失败或预算耗尽时终止。在这些截止点报告成功，量化额外交互的贡献，同时保留标准预算结果作为单独比较点。

2.2 上下文学习

借助上下文学习，GPT-6-Astra 在无需更新模型权重的情况下，在多个具身基准上取得强劲性能。图 1 比较了 GPT-6-Astra 与所有 12 个设置上的最佳已发表结果（SOTA）和最佳已发表智能体方法（Agentic SOTA），二者均在标准预算下报告。在标准（1×）预算下，GPT-6-Astra 已在多数设置上匹配或超越最强已发表结果，其中在 LIBERO-Ultra-Long 和 DexJoCo 上优势最大，几乎将最佳已发表成功率翻倍。为分离 ICL 的贡献，我们在 SIMPLE 上比较零样本和 ICL 条件：任务级 ICL 将四个常见任务的标准预算成功率从 70.8% 提升至 90.8%，并缩短成功回合（表 12）。然而，ICL 的收益取决于训练数据对测试任务的覆盖程度。当测试任务紧密跟随训练分布时（如 LIBERO 家族、SIMPLE 和 VLN-CE），知识包几乎可以直接检索和适配示范动作或路线，成功率接近饱和。DexJoCo 的接触丰富灵巧任务要求很高，但按阶段索引的动作参考和控制器辅助函数能很好地覆盖它们。相比之下，RoboLab 不提供可构建任务级知识包的训练集，其成功率保持中等；第 2.4 节进一步讨论这一局限。

知识包内容。 每个知识包围绕六个反复出现的组件组织（图 3）：任务指导、动作参考、视觉参考、可执行辅助函数、检查与恢复、元数据与来源。这一结构并非规定。在 ICL 准备期间，GPT-6-Astra 在每个基准允许的训练数据和工具接口内，独立选择检查和保留什么；我们不指定它应检查或保存哪些示范、帧或状态/动作记录；尽管如此，六个组件在各基准中反复出现。

任务指导。 书面指令描述任务目标、执行阶段和策略。它们指定子任务顺序、对象角色和约束，指导存储参考的选择与使用。动作参考。 从示范衍生的轨迹、抓取配置和阶段锚点，提供动作如何展开的数值示例。智能体检索相关片段或姿态，并将其适配到当前场景和机器人状态。视觉参考。 选定的示范帧和接触裁剪图展示对象外观、抓取区域和中间任务状态。这些示例支持对存储动作的解读以及与当前观测的比较。可执行辅助函数。 可复用的 Python 程序支持正向和逆向运动学、参考检索和动作生成。它们将存储的参考和当前几何估计转换为候选动作。检查与恢复。 完成测试描述可观察证据，表明抓取、子任务或整体任务已成功。恢复流程将失败症状与纠正动作关联，如调整接近方式或选择替代抓取。元数据与来源。 机器人规格和接口约定定义如何解释存储的状态和动作。来源记录和验证笔记记录保留材料的出处及其离线检查范围。

在这一共享结构内，保留的信息反映各基准的需求。Bench2Dex $163$ 和 DexJoCo $144$ 强调手部配置、按阶段索引的动作示例和灵巧控制辅助函数。LIBERO-Long++ 和 LIBERO-Ultra-Long $162$ 围绕可组合的原子技能组织选定示范，而 LIBERO-PRO $183$ 主要保留文本策略和来自探索的恢复知识。SIMPLE $152$ 保留完整的数值训练轨迹，以及用于在当前反馈下提取和修改候选动作块的辅助函数。LHPR-VLN $134$ 和 VLN-CE $87$ 保留导航策略、地标参考、停止指导和来自训练场景练习的恢复笔记。BEHAVIOR $8$ 强调对象特定的抓取可供性、双臂和工具接触几何，以及条件验证和恢复流程。

知识包使用。 回顾性使用分析揭示了我们在每个审计基准上的共同工作流：GPT-6-Astra 阅读任务指导，通过准备好的辅助函数检索候选动作，并对照视觉参考检查其执行。数值示范经常由这些辅助函数在内部加载，将存储示例直接链接到动作生成；在 DexJoCo 上，控制器和视觉参考在初始执行和延续期间被反复使用。GPT-6-Astra 不是重放示范，而是将其适配到当前场景。在 Bench2Dex Ball Box Loading 中，它重新映射参考关节并补偿 4−5cm 的工作空间高度差，同时保留示范的双臂支撑几何；在 DexJoCo Photograph 中，它在滑落后选择替代的参考拾取。因此，知识包作为可复用资源，在反馈下提出、适配和修正动作，尽管这些分析并未分离单个组件的因果贡献。

2.3 扩展交互预算

除了训练数据覆盖（第 2.2 节），任务本身的难度也限制了 1× 下的性能，即使有 ICL，仍有四个基准远未解决：RoboDojo、Bench2Dex、BEHAVIOR 和 LHPR-VLN。RoboDojo 和 Bench2Dex 需要精确的双臂或灵巧操作，通常涉及反复纠正。BEHAVIOR 和 LHPR-VLN 需要长序列的家务操作或导航，跨多个阶段跟踪子目标，在所有设置中成功率最低。

为评估标准步数限制对这些短板的贡献，我们将预算扩展至 10×，同时保持模型权重和 ICL 知识包固定（图 1 和图 4）。额外交互在 RoboDojo 和 Bench2Dex 上带来大幅提升。在 RoboDojo 上，成功率大约翻三倍，约四分之三在 1× 下未完成的回合得以完成，其中 Precision 组获益最大。Bench2Dex 的成功率翻倍以上。这些提升表明，标准预算可能中断有效的执行和恢复，而额外交互使 GPT-6-Astra 能完成更多纠正尝试。

然而，在 LHPR-VLN 上，扩展预算仅带来适度提升，成功率仍为所有设置中最低。这表明长时程导航的需求（包括跨多个阶段跟踪子目标）不能仅靠额外交互解决（第 2.4 节）。我们未扩展 BEHAVIOR 的预算，其标准预算已经很长。

在 1× 下已表现良好的基准也从额外交互中受益。DexJoCo 和 VLN-CE 达到约 90% 的成功率，而 LIBERO 家族和 SIMPLE 超过 95% 并接近饱和（图 1）。

2.4 局限与失败模式

尽管 ICL 和扩展预算带来了大幅提升，仍存在若干局限和反复出现的失败模式。我们首先讨论方法的两个局限------迁移和成本，然后讨论从回合视频和智能体日志中识别出的三种行为失败模式（图 6）。基础设施中断仍计为失败，但与行为分析分开考虑。

图 6 在 ICL 和扩展预算下的残余失败。每组展示关键事件前状态及其结果；紫色箭头标记相关对象。(a) 验证物理成功：表面或自报完成与实际任务状态不一致。(b) 从后果性动作中恢复：早期事故（如溢出或掉落部件）无法撤销，并破坏后续子任务。(c) 长时程中保持进展：后续步骤依赖的进展（如打开的盖子或放置好的物体）丢失并阻塞任务。

ICL 知识包主要是任务特定的，这限制了迁移。 尽管 ICL 知识包在各基准上大幅提升性能，但它们基于每个基准的训练数据构建，主要编码任务级指导、动作参考和辅助函数，因此当测试任务偏离其构建数据时收益减弱。在 RoboDojo Open 组中，该组没有任务特定示范，依赖从其他四组学习的知识包，GPT-6-Astra + ICL 仍从额外交互中受益，但在所有组中成功率最低（附录 C.3，表 5）。类似地，RoboLab 不提供可构建知识包的训练集；GPT-6-Astra 在该基准上领先所列基线，但绝对成功率仍为中等（表 6）。构建能泛化到源任务之外的知识包仍是开放方向。

时间和成本仍然很高。 强劲性能以大量 token 和 wall-clock 时间为代价，即使在 GPT-6-Astra 几乎解决的基准上也是如此（图 5）。在 LIBERO-Long++ 上，标准预算成功率已超过 97%，但每个回合仍消耗约一百万 token 和近一小时推理与工具使用；在 LIBERO-Ultra-Long 上，这些成本升至约九百万 token 和近两小时（表 4）。扩展预算进一步增加成本，且额外成本很大一部分集中在困难回合，这些回合往往仍然失败：在 RoboDojo 上，扩展预算下单个回合平均耗时超过三小时。由于 10× 设置仅限制 action steps 数量，回合可能在成功或终端失败时提前结束，这些成本反映实际执行的步骤。由于推理延迟不计入 action-step 预算，这一成本也限制了需要实时控制的部署场景。

验证物理成功。 GPT-6-Astra 能检测任务尚未完成，但无法识别哪个物理条件仍未满足；因此其纠正过程无法收敛（图 6(a)）。在 Bench2Dex Jigsaw Puzzle Assembly 中，它报告四块拼图已形成所需矩形，同时注意到回合尚未结束，并继续调整残余偏移，但其纠正将拼图再次拉开，而非闭合剩余间隙。在 RoboDojo Hang mugs 中，GPT-6-Astra 将头戴相机中杯柄与挂钉的重叠视为杯子已挂好的证据，而未确认挂钉穿过杯柄；杯子最终落在桌上，后续重新抓取时手指闭合也被视为尚未发生的接触。在 RoboDojo Fill egg holder 中，GPT-6-Astra 将四个鸡蛋从篮子移入支架，并报告它们在其撤回后仍坐稳，但回合以部分得分的失败结束。因此，视觉合理性和自报进展可能与任务实际完成条件不一致，导致反复纠正或过早自信。可靠执行需要检查任务实际的接触、支撑和对齐约束。

从后果性动作中恢复。 每次尝试都改变恢复必须进行的状态，有些变化无法撤销（图 6(b)）。在 RoboDojo Pour liquid into cup 中，杯子在回合早期翻倒，液体洒在桌上；GPT-6-Astra 扶正杯子并继续倾倒，但溢出无法逆转，回合在大部分预算未使用时结束。在 DexJoCo Assembly 中，销钉从抓取中滑落掉到地板；GPT-6-Astra 判断其不可达，并在大部分预算剩余时停住机械臂。当失败步骤是后续步骤的前提（如打开容器或固定物体）时，恢复成本也很高：在成功之前，下游子任务无法进行，反复重试消耗预算而不推进任务。此类依赖在 BEHAVIOR 和 LHPR-VLN 等长时程基准中尤为普遍，单个未解决的子任务可能阻碍整体目标的进展。例如在 LHPR-VLN 中，智能体可能卡在尝试到达中间目的地，失去导航计划，诉诸无目的探索而无实质进展。因此，额外预算仅在恢复路径仍存在时有帮助，成功恢复通常涉及有意义的策略改变而非重复。例如在 DexJoCo Fold Glasses 中，GPT-6-Astra 切换到侧向接近，通过试提验证抓取，并在超过标准预算后完成任务。

长时程中保持进展。 长时程任务要求早期进展在执行后续动作时保持完整，而小偏差会在各阶段累积（图 6(c)）。在 RoboDojo Store laptop and headphones 中，GPT-6-Astra 已存放笔记本电脑并将耳机挂在支架上，随后返回调整一个耳罩；纠正将头带从支架上拉下，耳机在预算耗尽前未重新挂好。在 BEHAVIOR can_meat 中，已经拿在柜台旁的罐子在下一步动作中倾斜并掉到地板，因此任务继续前必须重建进展。除此类直接干扰外，抓取、放置或导航中的小错误会在后续阶段累积并改变后续动作的条件，迫使 GPT-6-Astra 重新定位并纠正早期错误。因此，可靠的长时程执行需要跟踪并重新检查早期建立的条件，而不是将已完成的子目标视为永久解决。

这些观察促使我们进行任务相关验证、考虑不可逆后果和前提依赖的恢复策略，以及持续跟踪早期进展。它们表明，进一步进展取决于智能体如何有效利用额外交互来修正策略并验证结果状态。

3 框架消融

第 2.2 节表明额外交互能显著提升任务完成度，但其收益取决于智能体如何有效利用该交互。更长执行带来大量推理成本，且不能可靠解决物理验证、恢复或子任务进展保持方面的失败。这些发现促使我们考察连接 GPT-6-Astra 推理与观测、动作和反馈的框架。

因此，我们进行受控消融，研究哪些框架设计能提升任务性能以及推理成本如何。我们研究两个方面：系统 1---系统 2 协作，以及动作表示与分块。

3.1 系统 1---系统 2 协作

我们使用 GPT-6-Astra 作为系统 2，使用在 RoboDojo 上微调的 π0.5 $12$ 作为系统 1（VLA）。我们比较三种交互设置：(i) 独立 VLA，无 GPT 监督执行动作；(ii) 开环协作，GPT 指定子目标，VLA 直接执行关节动作序列；(iii) 闭环协作，VLA 提出动作，通过正向运动学转换为候选 EEF 运动，允许 GPT 在执行前接受、修改或拒绝。对于闭环协作，我们改变审查视野 L∈{1,4}，其中 L 表示每次 GPT 调用审查的 VLA 提出的 EEF 动作数。最后，我们按照第 2.2 节所述设置评估上下文学习（ICL），既用于直接控制智能体，也与闭环 VLA 协作（L=2）结合。

图 7 RoboDojo 上不同系统 1---系统 2 协作策略和动作接口的 token 成本与性能。每个点代表一个实验配置，token 成本以百万计，性能以类别成功率的未加权平均衡量。虚线在 Agentic GPT-6-Astra 基线参考点相交，定义四个阴影象限。

如图 7 所示，独立 VLA 平均成功率为 6.91%，表明该基准上性能有限。开环协作同样为 5.83%，使用 0.387 百万 GPT-6-Astra token。相比之下，闭环协作（系统 2 审查并改进 VLA 提出的 EEF 动作）相比开环执行提升最多 20.00 个百分点。然而，逐动作审查需要 7.664 百万 token。将审查视野增至 L=4 将 token 消耗降低 63.5% 至 2.796 百万 token，同时将成功率从 23.61% 提升至 25.83%。将 ICL 与闭环 VLA 结合获得最高成功率 54.17%，超过最佳非 ICL 闭环配置 28.34 个百分点，但消耗 19.335 百万 token，约为该配置的 6.9 倍。

这些发现表明，仅将执行委托给系统 1 不足以可靠完成任务，而频繁的系统 2 监督带来大量 token 消耗。审查更长动作序列相比逐动作审查同时改善性能和 token 效率，凸显协作协议的重要性。ICL 与闭环 VLA 结合的配置获得显著更高性能，但 token 成本也大得多。因此，关键方向是使验证和恢复更具选择性，并更高效地整合任务相关经验，在可靠执行与 token 消耗之间取得平衡。

3.2 动作表示与分块

我们在相同的直接控制框架下研究动作表示和执行视野。我们的基线遵循 RoboRSI $119$ 智能体框架，其中 GPT-6-Astra 观察 RGB 图像和机器人状态，并在每次决策时生成一个笛卡尔末端执行器（EEF）动作。对于动作表示，我们比较绝对笛卡尔 EEF 目标（基线）、指定相对移动方向和距离的方向性运动命令，以及直接关节角控制。对于执行视野，我们比较单动作执行（L = 1）、固定动作块（L = 4）和自适应分块，其中 GPT-6-Astra 选择 L ∈ {1, 2, 3, 4}。这里，L 表示每次 GPT 决策生成的 EEF 动作数，token 消耗包括输入和输出 token。

如图 7 所示，方向性运动命令将平均成功率提升 2.50 个百分点，而直接关节角控制导致 5.84 个百分点的下降。这表明多模态模型的具身智能与低层机器人控制空间之间可能存在表示鸿沟。动作分块进一步揭示了成功率与 token 消耗之间的权衡。固定动作分块（L = 4）使用 0.435 百万 token，但相比基线降低平均成功率 4.17 个百分点。相比之下，自适应动作分块提升平均成功率 4.44 个百分点，同时使用 1.146 百万 token。因此，自适应分块以更高 token 成本获得比固定分块更高的成功率。这些结果表明，动作表示和执行视野都影响具身控制的成功率和 token 消耗。

这些发现表明，有效将具身智能转化为物理动作，需要与模型推理能力对齐的接口 $28$ 。一个有前景的方向是暴露语义上有意义的动作命令，同时将精确运动执行委托给机器人控制器，并通过自适应执行视野进一步平衡任务性能和 token 消耗。

4 真实世界验证

由于第 2.1 节的仿真协议基于两个在物理机器人上不成立的假设------测试任务的成功示范可用，以及额外执行步骤是免费的------我们进一步研究真实世界变体协议，修正这两点。第一，上下文改变：真实部署中新任务往往没有示范，因此 GPT-6-Astra 在零样本设置下运行，仅接收人类提供的结构化信息作为上下文。第二，预算改变：步数限制被 wall-clock 时间取代，因为在真实硬件上，任务耗时不仅决定 token 成本，还决定安全性、硬件健康和人力。

4.1 设置：真实世界变体

我们将 GPT-6-Astra 部署在八个平台上，跨越五个具身类别，按从简单到复杂列于表 1。真实世界变体在三个方面偏离仿真协议；逐平台设置、上下文和结果总结于表 14，详见附录 E。

(1) 零样本。 GPT-6-Astra 不接收示范，也不接收从数据蒸馏的知识包，作为通才运行，无任务或机器人特定训练。

(2) 结构化人类先验作为上下文。 替代知识包，GPT-6-Astra 接收人类编写的上下文。该上下文可编码机器人部署时常规可用的信息，如工具模式、关节限制、相机布置、安全约束和灵巧手开/合预设，以及在某些平台上的任务级指导（如可接受的抓取点）。没有平台暴露 pick、place 或 insert 等高层语义技能。

(3) Wall-clock 预算和成功标准。 试验以 wall-clock 时间而非步数计预算，通常 60 分钟；逐平台例外列于附录 E。操作员全程持有急停，由人根据物理结果而非模型自报完成来判断成功。对于可变形任务（如叠布），跨平台难以定义单一成功标准，因此其成功率表示任务被完成而非共同质量水平。

4.2 发现

发现 1：一个模型驱动每种具身形态；成功取决于任务。 无需平台特定训练，同一模型控制所有八个平台，从单臂到人形机器人（图 8）。限制成功的是任务性质：刚性拾放可靠（17/18 次试验），与仿真匹配；而可变形物体（如叠布：Franka 3 上 2/4）、精确接触（如插头插入：三个平台合计 0/11）和长时程移动任务（如导航和搜索：AgileX Tracer 上 9/23）仍明显更难。第二只臂扩展了 GPT-6-Astra 完成的零样本任务范围（图 13），并且当场景变化时 GPT-6-Astra 能根据执行反馈重新规划（图 8c）。逐平台结果见附录 E。

发现 2：GPT-6-Astra 能做什么取决于它能看见什么

除了提示和可用原语之外，真实世界中的成功关键取决于视野配置，也就是说，取决于模型可用的相机能否观察到任务决定区域。插花任务说明了这一依赖关系。夹爪从上垂直持茎，因此随夹爪移动的腕部相机看不到花下方的花瓶口。在单臂（Franka 3）上，腕部相机是唯一近景视图：GPT-6-Astra 在插入过程中从未看到花瓶口，尝试失败，花掉在花瓶旁（图 9a）。在双臂 Piper 上，持花臂的腕部视图同样受限，但 GPT-6-Astra 移动空闲臂，直到其腕部相机看向花瓶口，然后完成插入（图 9b）。区别在于主动视觉：视点成为动作空间的一部分。这种行为在遥操作示范中基本缺失：人类操作员通常从自己的视角而非机器人相机观察场景，因此示范很少移动相机来解决遮挡，从中学到的策略几乎没有可模仿的内容。仅通过机器人相机感知的零样本智能体必须自行发现这一点。

发现 3：GPT-6-Astra 作为系统 2 叠加在现有系统 0 运动控制之上

在人形机器人上，GPT-6-Astra 的思考速度远慢于本地运动控制，因此我们测试它能否通过现有系统 0 控制器直接行动，而无需任务训练的系统 1 策略。在 SIMPLE 中，GPT-6-Astra 发出关节、身体和移动目标，由解耦 WBC 或 AMO $91$ 控制器执行。在真实 Unitree G1 配 Wuji 手上，它命令臂关节目标及二值手开/合状态进行操作（2/3），并通过供应商速度接口转向和行走（3/3）；两个任务分开评估（图 8h 和图 13，B3）。这将第 3 节的系统 2/系统 1 协调扩展到现有运动控制接口，但它确立的是慢速、反馈驱动监督下的可行性，而非可靠的实时视觉运动控制。

4.3 真实世界中改变了什么

第 2 节仿真结果背后的两个要素，在真实世界设置中都各自受到约束。

物理约束限制扩展执行。 在仿真中将步数限制扩展至最多 10× 之所以可行，是因为额外步骤和失败尝试不带来任何后果；物理世界则施加了仿真未建模的三项约束。

（i）安全。 超出控制器限制的接触会触发保护性停止，通常终止试验。例如在 Franka 3 上折叠薄布时夹爪碰到桌面，或 PiPER 臂上的一次插头插入尝试以关节碰撞故障告终（其 3 次试验中 2 次），而 GPT-6-Astra 无法从这类硬件级故障中恢复。某些结果（如物体掉落）不可逆。

（ii）机械限制。 GPT-6-Astra 无法直接获得其命令所施加负载的反馈：在 Tianji M6S 上，Wuji 手的手指关节在反复抓取尝试中因负载而停滞，它唯一的防护是自己设定的温度阈值，而手达到了该阈值（62 ℃），中断了尝试。执行器过热可终止长时间试验：一次躯干过热故障结束了 Galaxea R1 Pro 上的两次采花运行。

（iii）实时性。 仿真中环境在模型思考时暂停。在物理机器人上，流逝时间是所有其他成本累积的载体：token、安全风险暴露、硬件应力和人力监督。回合很长：在 G1 上，GPT-6-Astra 每次运行约 90% 的时间用于思考，单次操作试验耗时超过一小时。因此，GPT-6-Astra 在仿真中利用的"更长执行换更高成功"的权衡，在真实硬件上并非免费可得（附录 E）。

缺失示范重塑上下文学习。 第 2.1 节的 ICL 协议假定测试任务在测试机器人上的成功示范已经存在。真实部署中新任务往往没有这些示范。人类编写的上下文足以应对有意义范围的任务，但它仍是专家的提示工程，其质量直接影响结果：在 Tianji 手上，没有预定义抓取原语时 GPT-6-Astra 一次抓取都未完成（0/3），而有了人类编写的抓取原语后成功率达到 3/3。这种上下文也不必来自人：在 Galaxea R1 Pro 上，GPT-6-Astra 在一次无运动的熟悉会话中，依据厂商文档以及对传感器和控制器的实时探测，自行编写了机器人配置文件，之后每个任务会话都从该配置开始。

人类编写的上下文只是更广阔设计空间中的一个点。在完整的领域内示范与完全没有示范之间，部署时可能有多种替代上下文来源，而我们尚未评估：跨具身示范、仿真中自生成的示范、人类示范、机器人自身的部署历史，以及跨机器人共享的知识包。从这类异构来源为具身任务有原则地构建上下文，仍是一个开放问题，也是真实世界部署中上下文学习的一大研究机遇。

5 迈向下一代具身基准

前几节表明，GPT-6-Astra 在既有具身基准上的结果严重依赖基准所给予的条件。其成功随上下文访问基准示范和扩展步数预算（失败无成本）而上升（第 2 节），并取决于通用智能体如何适配为学习策略构建的动作接口（第 3 节）。这些条件源于大多数具身基准的设计方式------为模仿学习训练的策略：收集任务示范，拟合策略，并在同一任务的留出回合上评估 $8, 26, 99, 112$ 。相比之下，在真实机器人上，新任务的示范和额外时间都不是免费的（第 4 节）。因此，对通用智能体而言，此类基准部分衡量的是它利用所提供条件的程度，而提高难度（基准饱和后的通常反应 $20, 80$ ）不会改变这一点。我们转而提出三条原则，改变具身基准的设计和评判方式，并用一个家庭概念验证加以说明。

5.1 下一代基准的原则

遵循当前语言智能体的常见协议------智能体以任何方式在环境中行动并按结果评分 $74, 110, 130, 155$ ------我们目标设置是：智能体仅通过机器人传感器感知世界，通过硬件暴露的命令行动，并在一个持续演化的世界中按单次部署评估；其在接口之上构建的一切都属于被测系统。当前具身基准像规划领域语言那样评判成功：BDDL $135$ 受 PDDL $50$ 启发，将任务表述为场景对象上的目标条件，必须在单一状态中成立（图 10，左）。此类目标继承经典规划假设 $51, 126$ ：完全指定的目标与二值成功、世界仅通过智能体动作变化、时间以步数计、给定世界模型。PDDL 的扩展放宽了其中一些 $45, 49, 59$ ，但具身基准很少采用，而以下每条原则至少打破一个假设。

任务源自人类需求。 基准任务通常是机器人能被证明成功的任务，因为必须为其收集示范；即使是在未见家庭中零样本运行的通用策略 $12$ ，也是在从机器人视角选择的任务上评估。部署的机器人必须做其所服务的人需要做的事，无论是否有机器人做过。遵循 BEHAVIOR-1K $90$ ，我们提出任务应源自此类需求，并像人那样表述。此类任务也测试智能体是否知道其具身形态的局限：人形机器人可能搬凳子够天花板灯泡，而轮式底盘应求助。真实需求还带有指令未提及的义务，如无人看管的炉灶、流水的水龙头或智能体自己打开的柜子。这些已在较窄形式中研究，如无指令整理 $76, 127$ 、缓解智能体自身风险 $106$ 和从蔓延危险中抢救物体 $182$ ；部署中它们还在机器人忙于其他事时出现，智能体必须无提示地注意到并决定是否中断工作。因此，我们将这些义务（Duty）与显式请求（Intent）放在同一部署中，并在世界时钟上设截止时间。

以需求表述的请求不能作为目标评判。 "做早餐"类似分层规划中的高层动作 $40, 126$ ：它允许许多细化，从一片吐司到一顿熟食，而目标公式只保留作者选择的那一个（图 10）。分层语言接受任何将任务分解为可执行计划的细化 $59$ ，但不同细化对人的效用不同，这需要结果上的效用 $77$ ，而非报告为部分得分的满足目标谓词比例 $8, 135$ 。固定检查甚至可能与其指令矛盾：Bench2Dex 的调味品盒装载任务 $163$ 要求智能体将三种调味品放入盒中，但其成功检查还要求酱油和醋瓶直立，而指令从未说明。由于有能力的智能体也可能以固定检查未预料的方式满足请求，或利用比请求更弱的检查 $86$ ，评判者本身应依据人们如何排序替代结果进行验证 $32, 179$ 。

测试时获得的经验。 部署中新任务往往没有示范，示范也限制了智能体所学：从操作员视角录制，很少移动相机解决遮挡，而理解自身具身形态的智能体可将视点作为动作的一部分（第 4 节）。因此我们提出基准不提供领域内训练回合或场景特定示范，智能体必须通过自身探索在未见家庭和具身形态中奠定通用先验，绘制布局、测试可供性并弄清特殊电器，并可能发现无示范者使用的策略。规划语言假定相反------给定世界模型 $126$ ------基准目标保留其痕迹：cooked 或 toggled_on 等谓词告诉智能体哪些变量重要，而真实空气炸锅只有发条定时器，烤面包机旋钮产生连续结果。因此评判者应在智能体私有的物理量上定义谓词（图 10，右），并让探索承担与其他动作相同的世界时间和副作用。由于经验在部署内请求间延续并在部署间重置，评估单位是部署，智能体在其中多快变得胜任是值得关注的量 $7, 31$ 。

持续运行的世界。 扩展步数预算在仿真中无成本地提升 GPT-6-Astra 的成功率，因为仿真器在其思考时暂停：在 RoboDojo 上，标准预算对应 8--76 秒的命令运动，而平均计算时间为 55 分钟（第 2.3 节）。在物理机器人上，时间在世界中流逝，在 G1 上 GPT-6-Astra 每次运行约 90% 时间用于思考（第 4.3 节）。遵循近期环境在智能体推理时持续演化的评估 $153, 180$ ，我们提出世界不应等待智能体：从观测到下一条命令之间的时间，无论用于推理、工具使用还是通信，都在前一命令下模拟，如同物理机器人 $14$ ，而主机仿真和渲染时间不计费。评判者随后必须在世界时钟上观察整个轨迹，包括智能体声明完成后的一段时间，因为最终状态目标看不到先熟后焦的鸡蛋。义务成为轨迹约束，即始终避免的条件或在触发后截止时间内恢复的条件 $38, 84$ ；PDDL3 为计划陈述此类约束 $49$ ，PARTNR 和 IS-Bench 在具身任务中检查顺序和触发的安全条件 $21, 106$ ，但没有截止时间。时间也设定结果的价值：居民十五分钟后离开，十分钟内端上鸡蛋和吐司比一小时内端上全套早餐服务得更好。因此评判者应分配一个同时取决于"实现了什么"和"何时实现"的效用 $56$ （图 10，右），这使智能体的思考时间成为其性能的一部分。

5.2 家庭概念验证

我们将这些原则落地到家庭场景。那里的请求是开放式的，家务跨房间和电器串联许多步骤，大量工作接触密集，且机器人工作时家持续变化------这正是 GPT-6-Astra 仍表现不足的条件（第 2、4 节）。我们通过可复现流程在 NVIDIA Isaac Sim $114$ 中构建了一个完全交互式的一居室公寓（图 11）：公开资产 $75, 90, 130, 167$ 和平面图构成家庭，编码智能体在人工审查下按真实世界尺度布置家具，每个部分都绑定物理，包括关节、接触、基于位置的流体和布料 $107, 111$ ，以及日常电器的加热和烹饪过程。由于被评判的结果只有在其背后的物理真实时才有意义，环境为因果保真度而建：智能体决策所依赖的一切，从物体质量和摩擦到从炉灶流向锅再流向食物的热量，都应以正确的因果关系模拟，并扎根于真实世界参考。

公寓中的任务只陈述需求，例如在居民离开前做早餐（图 11，5--6）。我们在第 4 节的零样本设置下让 GPT-6-Astra 执行此类任务：它通过机器人自身接口控制 AgiBot G2 $167$ ，仅通过机载相机和本体感觉观测，不接收示范，只接收具身形态描述。问题是：一个接近饱和第 2 节基准的模型，在基准不提供任何东西时，能否满足第 5.1 节的要求。图 12 展示了五个代表性失败。

发现 1：GPT-6-Astra 关注手中物体，却失去对家中其余部分的跟踪。 源自人类需求的任务要求智能体服务整个请求，包括无人陈述的义务；GPT-6-Astra 只服务眼前这一步。整理书桌时，它移动夹爪中的书，而手臂把其他物品碰落在地、把显示器推离原位（图 12a）。收拾杂货时，它打开冰箱存放牛奶，然后转身把水果搬到桌上，让冰箱门从世界时间 300 秒一直开到 765 秒（图 12b）。在这两个回合中，家中其余部分（包括机器人自己的手臂及其改变的状态）似乎只有在下一次步骤被阻塞时才进入模型决策，这与第 4.3 节真实机器人上的情况相似。对最终状态的检查会同时漏掉两者：冰箱在回合结束时是关着的，而书最终在哪里并不能说明书桌其余部分的状态。因此图 10 的评判者在整个轨迹上跟踪义务，而非仅在结束时。

发现 2：没有示范，GPT-6-Astra 无法弄清不熟悉的装置如何运动，或自己的身体需要处在何处。 没有示范可跟随，智能体必须通过自身交互发现这两者。做早餐时，GPT-6-Astra 需要从冰箱取培根（图 12c）。它拉开门并用一只手臂撑住，但从其底座所在的狭窄过道位置看，打开的门位于其空闲臂与搁架之间，另一只手臂只能绕过门去够。要够到培根，需要把底座放到使摆动的门和机器人身体都能容纳在冰箱与其后柜台之间。GPT-6-Astra 只为夹爪和把手做规划，却不为其身体其余部分做规划：它松开把手去够，门摆回关上，它又回到起点。面对不熟悉的水龙头，它同样一直推把手而不是旋转它，水槽注满并溢出（图 12d）。两种情况中，它都重复并调整同一动作。在第 2 节的基准上，它在上下文中蒸馏的示范同时展示了这两点，因此该弱点在那里不出现。

发现 3：GPT-6-Astra 基于在其思考期间已过时的观测做决策。 在持续运行的世界中，动作必须适合其生效时的世界状态。通过头戴相机观察鸡蛋，GPT-6-Astra 正确决定在鸡蛋凝固后关火，但每个决策都消耗数秒世界时间，而炉灶仍在燃烧，等火关掉时鸡蛋已经烧焦（图 12e）。模型推理时仿佛世界在等它，而在第 2 节的仿真器中确实如此。

这些回合数量少且是定性的，但指向同一方向。在第 2 节的基准上，GPT-6-Astra 决定"做什么"的能力就足够了。在一个只陈述需求、不提供示范、也不暂停的家庭中，它还必须就该决定采取行动，而这正是它目前不足的地方。

5.3 开放挑战

在完整基准中实现这些原则会带来若干开放问题，构建我们的原型使这些问题变得具体。第一个挑战是评判者的证据。要评判发生了什么而非检查谓词列表，评判者需要物理事实，如鸡蛋是否被翻面或烧焦，而仿真器仍用启发式状态变化来建模 $90$ 。学习型评判者尚未填补这一空白：视觉语言成功检测器在接触密集装配上最高仅达 60% 平衡准确率 $113$ ，而智能体轨迹的视觉语言评判者可能被智能体自身的推理误导 $78$ 。第二个是仿真保真度。由于评判者读取仿真器状态，建模错误与智能体行为看起来相同：一个错误建模的关节可能让智能体看起来成功，接触伪影可能让它看起来失败；仿真迄今已被证明能预测短时程桌面任务的真实机器人结果，包括少数可变形物体任务 $70, 95, 173$ ，但不能预测长时程家务活动。第三个是不暂停世界的成本。如果世界在智能体思考时持续运行，推理期间必须模拟每个物理过程，分数则取决于延迟、硬件和服务负载；现有基准通过暂停环境避免这一点 $171$ ，但这将推理速度从分数中移除，或按生成的 token 推进时间 $153$ ，这可复现但不反映部署延迟。最后，持续一小时或更长的部署重复成本高昂，而即使短机器人试验通常也运行次数太少，无法可靠区分策略 $133$ 。

6 结论

总之，GPT-6-Astra 代表了具身智能的明显飞跃，但并非终点。我们的研究表明，强框架设计结合上下文学习和充分执行预算，可将许多孤立基准推至接近饱和；而剩余挑战转向跨任务迁移、长时程推理、失败恢复以及真实世界的时间、成本和安全约束。这些发现也表明，基准成功应越来越谨慎地解读：前沿不是简单解决更多孤立任务，而是构建能在现实部署条件下可靠高效运行的具身系统。