全文 - Astranomy: An empirical study of GPT-6 Astra as a native robot policy

Astranomy：GPT-6 Astra 作为原生机器人策略的实证研究

原文标题 : Astranomy: An empirical study of GPT-6 Astra as a native robot policy

作者 : Jenai Xuning Yang*, Ashna Khetan, Shun Zhang（NVIDIA Seattle Robotics Lab）

发布时间 : 2026年10月14日

来源 : NVIDIA Research

翻译说明: 本文档为网页内容的中文翻译整理版，保留了原始数据、图表引用与参考文献。

核心要点
概述
[1. 引言](#1. 引言)
[2. 研究设计](#2. 研究设计)
- [2.1 策略配置](#2.1 策略配置)
- [2.2 推理时消融实验](#2.2 推理时消融实验)
[3. 实验结果](#3. 实验结果)
- [3.1 影响 Astra 行为的信息与动作选择](#3.1 影响 Astra 行为的信息与动作选择)
  - [3.1.1 动作表示与时域](#3.1.1 动作表示与时域)
  - [3.1.2 Astra 需要了解哪些机器人几何信息](#3.1.2 Astra 需要了解哪些机器人几何信息)
  - [3.1.3 Astra 需要多少上下文](#3.1.3 Astra 需要多少上下文)
  - [3.1.4 任务应如何描述](#3.1.4 任务应如何描述)
  - [3.1.5 模型选择如何影响性能](#3.1.5 模型选择如何影响性能)
- [3.2 智能体脚手架（Agentic Scaffolding）的贡献](#3.2 智能体脚手架（Agentic Scaffolding）的贡献)
  - [3.2.1 可选工具是否有帮助](#3.2.1 可选工具是否有帮助)
  - [3.2.2 显式规划是否有帮助](#3.2.2 显式规划是否有帮助)
  - [3.2.3 提供运动误差反馈是否有帮助](#3.2.3 提供运动误差反馈是否有帮助)
- [3.3 Astra 何时进行干预](#3.3 Astra 何时进行干预)
- [3.4 最终配置](#3.4 最终配置)
[4. 运行时性能](#4. 运行时性能)
- [4.1 延迟](#4.1 延迟)
- [4.2 Token 成本](#4.2 Token 成本)
[5. 研究结论](#5. 研究结论)
[6. Astra 的失败模式](#6. Astra 的失败模式)
[7. 研究局限性](#7. 研究局限性)
致谢
参考文献

核心要点

通用大模型具备作为通用抓取放置任务原生机器人策略的能力。 在 RoboLab-120 基准上，Direct Policy 成功率达 66.3% ，Agentic Policy 达 74.8% ，Orchestrated Policy 达 66.5% 。Agentic Policy 超过 RoboLab-120 上表现最好的策略 Lakeside 23.8 个百分点。
Agentic Policy 表现优于 Direct Policy，但代价显著。 在持久化 Codex 会话中使用 Astra 比直接查询模型获得更高性能，但 Token 成本高昂：Agentic Policy 平均每轮消耗 3090 万 Token（约 36.40 美元） ，而 Direct Policy 仅消耗 16 万 Token（约 1.96 美元）。
提示词的结构与内容至关重要。 动作表示、几何提示信息和上下文对性能有显著影响。
通用大模型在实际部署中面临高延迟问题。 Direct Policy 单次推理平均耗时 18.56 秒，导致动作块之间的等待时间过长。

概述

通用大模型能否、又是否应当作为机器人策略？ 本研究将 GPT-6 Astra 作为面向语言条件的通用操作原生策略进行系统评估，其动作表示与时域上下文均在推理时指定。我们评估了 GPT-6 Astra 在三种不同角色中的表现，以确定模型在脱离周围环境支持后的固有能力：

Direct Policy：无脚手架直接生成动作；
Agentic Policy：在持久化 Codex 会话中作为智能体运行；
Orchestrated Policy：作为监督者，将动作生成委托给机器人基础模型（RFM）。

本报告研究了哪些因素能够实现可靠的闭环执行，以及由此带来的性能是否值得承担通用推理的延迟与 Token 成本。

我们在完整的 RoboLab-120 $1$ 基准上报告结果，并在 30 个任务的子集上进行聚焦消融实验。我们考察了推理时的各项配置，包括动作表示、几何信息、观测历史和任务描述方式对三种策略的影响。在 RoboLab-120 上，最佳策略（Agentic Policy）达到 74.8% 的成功率。虽然 GPT-6 Astra 具备原生执行通用抓取放置任务的能力，但单次推理平均耗时 18.56 秒。这些资源需求使得运行时性能和成本成为 Astra 实际应用于机器人策略的核心考量。

RoboLab-120 总览结果

策略	成功率 (SR) / 完成分 (Score)	延迟/调用	API 成本/成功轮次
Direct Policy	66.3% / 76.7	18.56 s	160k tokens / $1.96
Agentic Policy	74.8% / 83.6	13.37 s	30.9M tokens / $36.40
Orchestrated Policy	66.5% / 79.1	11.50 / 2.74 s	11.0M tokens / $17.72
Cosmos3-Nano-Policy (WAM)	36.8% / 51.9	713.76 ms	N/A
π0.5 (VLA)	28.0% / 43.4	46.96 ms	N/A

图 2. RoboLab-120 总览结果。 五种策略在 120 个任务各 5 轮实验上的成功率与平均完成分，以及单次推理延迟和每成功轮次的 API 成本。Astra 策略取得了比所评估的机器人基础模型更高的成功率和完成分，代价是显著更长的推理时间。

1. 引言

机器人基础模型（RFM）通常在机器人数据上进行预训练或微调，以针对特定任务、环境或本体生成控制策略 $2$ 。诸如视觉-语言-动作模型（VLA）和世界动作模型（WAM）等 RFM，通过对机器人数据微调来适配预训练的语言、视觉或多模态模型以预测动作。动作参数化、本体条件化和时域上下文通常由训练数据和模型设计确定，在推理时保持不变 $3$ $4$ $5$ 。

通用多模态语言模型旨在支持广泛的语言、视觉理解和推理任务。在此，我们研究这些能力是否可以通过提示中指定的策略接口来支持机器人控制，而无需额外的机器人策略微调。借助通用模型，我们可以在输入上下文中选择动作表示、提供机器人和相机几何信息，并调整观测历史。它们的长上下文窗口还使得在单轮中保留观测、历史动作和执行反馈成为可能，从而可以在推理时研究动作和观测的参数化。该接口一个有用的特性是变长动作分块（variable-length action chunking）：对于末端执行器（EEF）和关节位置控制，Astra 可以在提示范围内选择每次调用生成多少个动作。这使得观测间隔可以随决策变化，而许多机器人基础模型接口使用固定的动作时域。

近期工作展示了 Astra 能够智能体化地生成机器人动作，并在多种本体上零样本监督学习到的操作策略 $6$ $7$ ，进一步的评估还涵盖导航和通过预训练全身控制器实现的人形控制 $8$ 。这些发现共同促使我们系统研究 Astra 的原生机器人能力，以及这些能力在多大程度上依赖于推理时提供的控制接口、可用上下文和智能体支持。

首先，我们明确区分将 Astra 直接用作机器人基础模型与将其部署在智能体脚手架中的区别。这种区分使得模型角色和周围系统提供的支持在每个设置中都清晰可辨。因此我们评估三种策略形式：

Direct Policy：直接通过 API 调用将模型用作机器人基础模型，采用固定的观测到动作映射，不保留调用间的上下文历史。
Agentic Policy：在持久化 Codex 会话中使用 Astra，保留历史上下文并提供额外工具（如图像检查、计算、笔记）。
Orchestrated Policy ：Astra 审查由 Cosmos3-Nano-Policy（在目标本体上微调过的 WAM）提出的动作，并决定是否干预。

其次，我们系统性地改变推理时 Astra 可用的动作接口和信息。我们比较动作表示和动作时域，改变几何描述和观测历史以评估其对控制的影响。对于 Agentic Policy，我们研究持久化交互上下文、计算工具、示范和显式规划是否提升性能。对于 Orchestrated Policy，我们考察 Astra 应以何种频率审查提议动作并进行干预。这些实验评估哪些推理时选择支持可靠执行，以及它们如何影响延迟和 Token 成本。

我们使用 RoboLab-120 $1$ 来研究这些问题，这是一个专为评估通用操作和语言指令鲁棒性设计的抓取放置基准。该基准强调多步任务，在保持场景和目标不变的情况下变化指令具体性，从而使评估能够将语言敏感性与物理执行困难分离开来。

图 3. RoboLab-120 排行榜。 Agentic Policy 达到 74.8% 的成功率，相比之下 Direct Policy EEF 为 66.3%，Orchestrated Policy 为 66.5%。Agentic Policy 超过排行榜上最强的参考策略 Lakeside（51.0%）23.8 个百分点。

2. 研究设计

我们在 RoboLab $1$ 中使用 DROID 机器人 $9$ 进行零样本评估。控制频率为 15 Hz，推理期间暂停仿真。除明确变化模型选择的情况外，所有策略形式均使用 GPT-6 Astra 并设置 medium 推理力度。每个策略均可看到三个视角：左肩、右肩和腕部相机。每张图像缩放至 384 × 216 像素。不设 walltime 限制或重试限制。当仿真器标记任务完成或达到任务特定的动作步数上限时，任务结束。每次模型调用上限为 8,192 个完成 Token（含推理和动作/工具输出）。所有仿真在 NVIDIA L40s GPU 上运行。鉴于推理成本高昂，每个任务运行 5 轮并使用固定种子（0--4），这不足以刻画逐任务变异性。我们在研究局限性中进一步讨论这一点。

消融实验在 RoboLab-120 的 [30 任务子集](#30 任务子集) 上进行：10 个任务来自先前工作 $7$ ，另外 20 个任务选自涵盖表 1 所列操作与指令能力的任务。然后我们在全部 120 个任务上评估每种策略的最强配置。我们报告成功率（SR）和完成分（Score），后者突出部分完成的任务完成度。成功轮次的完成分为 100。

表 1. 30 任务消融套件

能力类别	任务
物体选择与容器放置	SauceBottlesCrate; CannedFoodInBin; YogurtInBowl; RubiksCube
多物体收集与分类	BlocksInBin; ClutterPumpkin; BlackItemsInBin; CondimentsInBin
抓取多样形状	PickGlasses; PickUpBluePitcher; BagelsOnPlate
餐具与窄口放置	MarkerInMug; SpoonInMug; SpoonsInPot
重新定向	ReorientRedMug; ReorientJug; ReorientAllMugs
堆叠与支撑放置	ButterAboveRaisin; Stack3RubiksCube; BlockStackingSpecifiedOrder
货架操作	OneBottleOnShelf; TakeSpatulaOffShelf; PutBowlOnShelfTop; PutTwoMugsOnShelf
空间关系与目标分配	RubiksCubeBehindBowl; FoodPackingByColor
计数、选择与排序	BananasInBinThreeTotal; PhoneOrRemoteInBin; BananaThenRubiksCube
长程清理（含排除项）	CleanUpToys

2.1 策略配置

我们评估三种区分直接动作生成、智能体脚手架和策略辅助的配置。每种配置均在相机观测、本体感知和任务指令的闭环中运行，每次执行动作段后返回更新后的观测。

Direct Policy：Astra 直接通过 API 调用预测动作块，调用间不保留上下文历史。接口支持末端执行器目标、关节目标或关节空间 B-spline，块长度在配置范围内选择。每个预测块在执行完毕后才进行下一次观测，除非在最终块期间回合终止。
Agentic Policy：一个持久化的 Codex 会话，保留交互历史并提供可选工具（图像检查、计算、笔记）。在末端执行器配置中，每个目标执行 1--5 个控制步后获取新观测。
Orchestrated Policy ：Astra 在智能体 Codex 脚手架内运行，保留跨决策的有界记忆，禁用可选原生工具。它审查相机观测、机器人状态和由 Cosmos3-Nano-Policy $3$ （在 DROID 数据上微调的 WAM）提出的轨迹，以评估进度和任务对齐度。Astra 可以接受 15 步的策略提议，或通过编辑提议或发布末端执行器目标来进行更短段的干预。

图 4. 策略变体。 三种机器人控制形式。Astra 直接或通过 Codex 工具生成动作。在 Agentic Policy 中，Codex 维护上下文历史、提供可选 shell 工具并在每个动作后接收运动反馈。在 Orchestrated 形式中，Cosmos3-Nano-Policy 在 Codex 外提议动作块；Astra 审查每个块并决定放行或以不同的末端执行器命令覆盖。

2.2 推理时消融实验

图 5. 消融设计。 动作、历史、提示、模型和智能体脚手架的设计选择。绿色高亮为默认设置。

3. 实验结果

除非另有说明，以下结果均在 [30 任务子集](#30 任务子集) 上报告。未在某项消融中变化的参数保持其默认设置。

3.1 影响 Astra 行为的信息与动作选择

3.1.1 动作表示与时域

动作空间。 我们比较末端执行器（EEF）位姿、关节位置和关节空间三次 B-spline 轨迹。对于 B-spline，策略预测六个八维系数向量并构造 [夹持三次 B-spline](#夹持三次 B-spline) $10$ 。B-spline 提供了一种紧凑的平滑、时间参数化运动轨迹表示，可在高控制频率下采样并通过边界约束连续拼接 $11$ $12$ 。

在 Direct Policy 中，EEF（72.7%）在 30 任务套件上始终优于关节位置（48.7%）和 B-spline 关节轨迹（37.3%）。然而在 Agentic Policy 中，EEF（86.0%）与关节位置（84.0%）的成功率差距缩小至 2.0 个百分点。这表明在智能体设置中，动作表示的重要性降低。绝对动作表示优于 Delta 和 Relative 表示。

动态时域。 对于 EEF 和关节位置动作，策略在每次推理调用时选择块长度，范围为 3--15 或 16--32 个动作。最小三个动作的设定排除了单步和双步块，避免过度频繁的重规划。在成功任务轮次中，将动态动作时域从 3--15 增加到 16--32 使调用次数减少 62%，而平均任务完成时间保持相似。但 16--32 时域的成功率降低 6 个百分点，可能是由于无法通过更短视域的动作块进行纠正。我们的发现表明，策略能够自适应地决定合理的动作块时域，同时保持相似的任务完成时间。

图 6. 动作空间：末端执行器动作在 Direct Policy 中表现最佳，但 Astra 能够原生生成 B-spline。 Direct Policy 使用绝对 EEF 目标达到 72.7% 成功率，相比关节位置 48.7% 和 B-spline 37.3%。Agentic Policy 使用 EEF 目标达到 86.0%，关节位置达到 84.0%。

Cubic B-spline on joint position

策略被要求预测六个系数向量 P₁,...,P₆ ∈ ℝ⁸，每个包含七个绝对关节位置和一个夹爪命令，以及动作时域 H。客户端将当前机器人状态 P₀ = $q_current; 1(g_current \geq 0.5)$ 前置，并构造轨迹：

C(u) = Σᵢ₌₀⁶ Nᵢ,₃(u) Pᵢ, u ∈ $0,1$

其中 Nᵢ,₃ 是分段三次 B-spline 基函数，使用夹持节点向量 (0,0,0,0, 1/4, 1/2, 3/4, 1,1,1,1)，确保 C(0) = P₀ 且 C(1) = P₆。

长度为 H 的动作块通过采样 C(k/H)（k = 1,...,H）生成。前七个分量指定关节位置目标，裁剪至关节限幅和单步运动边界；最后一个分量以 0.5 为阈值产生二进制夹爪命令。

3.1.2 Astra 需要了解哪些机器人几何信息

几何信息在 Direct Policy 中产生显著差异，而在 Agentic Policy 中差异较小。 在 Direct Policy 中，几何信息对策略的运动方式有明显影响。观察 YogurtInBowl 示例：基础提示导致机器人在尝试对齐夹爪与杯子时反复调整。仅添加夹爪几何信息仍存在大量来回运动。同时加入相机和夹爪几何信息后，机器人遵循更直接的接近、抓取和放置序列。单独使用相机几何在此也表现良好，但更广泛的消融实验支持同时包含两者。在智能体方法中，移除几何指令仅降低成功率 2.7 个百分点，但增加了 14.7% 的控制步数。我们假设智能体可能从持久化的观测-动作历史中获得了内部几何估计，或由于更短的动作段和/或显式跟踪反馈而能够增量式地纠正对齐。

图 8. 提示变体。 基础提示定义机器人、坐标约定和执行时序。夹爪和相机补充提供将可见物体与命令运动关联所需的几何信息；默认设置同时包含两者。
图 9. Yogurt 任务在不同提示变体下的表现。 使用 Direct API、绝对 EEF 和默认设置。最小任务提示和动作下，机器人无法生成任何合理动作。添加位姿坐标系和运动指导后，基础提示能够实现成功轮次。然而基础提示产生重复的对齐调整，而相机几何和组合几何提示支持更直接的执行。
图 10. 提示消融。 几何信息显著改善 Direct Policy，对 Agentic Policy 的观察影响较小。同时添加夹爪和相机几何将 Direct Policy 成功率从 19.3% 提升至 72.7%，而 Agentic Policy 从 83.3% 提升至 86.0%。

提示变体	Direct Policy (SR / Score)	Agentic Policy (SR / Score)
Base	19.3 / 34.5	83.3 / 87.9
Base + gripper	35.3 / 50.9	---
Base + camera	62.7 / 72.1	---
Base + gripper + camera (默认)	72.7 / 82.2	86.0 / 90.9

3.1.3 Astra 需要多少上下文

Direct Policy 的上下文采样：我们变化观测的时间跨度和密度。仅使用当前观测时成功率为 49.3%，使用三个近期观测（t−14, t−7, t）提升至 72.7%，更长或更密集的采样没有进一步增益。

Agentic Policy 的上下文历史：我们变化决策间保留的视觉和文本历史。保留完整文本和视觉历史在 23 任务子集上达到 100% 成功率（无缓存的运行成本显著更高）。

图 11. 上下文采样。 Direct Policy 从仅当前观测的 49.3% 提升至三个近期观测的 72.7%。Agentic Policy 保留完整历史在子集上达到 100% 成功率。

3.1.4 任务应如何描述

Agentic Policy 在默认和模糊指令下保持相似的成功率；Direct Policy 对措辞更敏感。基于视频示范的条件执行达到 87.9% 的成功率，而无示范为 90.0%。

图 12. 任务描述。 Agentic Policy 对默认和模糊指令保持相似成功率；Direct Policy 对措辞更敏感。视频条件执行达到 87.9%，无示范为 90.0%。
图 13. Astra 成功展示了上下文学习（ICL）。 采样的示范和成功的 Agentic rollout 都按红、蓝、绿、黄从下到上的顺序搭建塔。示范以 1 Hz 采样 36 帧，每帧包含三个相机视角。

3.1.5 模型选择如何影响性能

在相同评估配置下，模型选择对直接控制成功率影响强烈：Astra 达到 72.7%，Sol 为 33.3%，Luna 为 2.0%，Claude Opus 5.5 为 25.3%。

图 14. 模型选择强烈影响直接控制成功率。 各模型在 30 任务 150 轮上评估。

更高的推理力度（xhigh vs medium）产生相似的成功率（74.5% vs 72.7%），但延迟和 Token 成本分别增加 2.6 倍和 2.2 倍。

图 15. 更高推理力度在更高延迟和 Token 成本下产生相似成功率。

3.2 智能体脚手架的贡献

对于 Agentic Policy，我们为模型提供持久化 Codex 会话以观察场景、提议机器人动作并保留回合上下文。每次决策时，脚手架拥有整个对话历史和回合决策的完整访问权限。与直接通过 API 查询每个动作相比，该设置允许我们研究脚手架中更多交互结构及其对性能的影响：历史如何持久化、哪些工具可用、以及如何鼓励规划。我们分别考察可选工具访问、书面规划指令和显式恢复干预。

3.2.1 可选工具是否有帮助

Agentic Policy 可以在 Codex 环境中编写和执行任意 Python 代码。为鼓励工具使用，我们提供一个工作区，包含观测图像的直接路径、用于脚本/裁剪/计算的临时目录和持久笔记。我们提示它在额外视觉检查、几何估计或数值计算有助于下一步动作时利用该工作区。禁用可选工具时，我们禁用 shell/代码执行和图像检查，并移除鼓励使用它们的指导。

虽然 Astra 能够使用工具，但显式工具使用似乎并未影响性能：禁用工具时成功率为 86.0% / 90.9，启用工具时为 88.0% / 91.2。

图 16. 工具使用对 Agentic Policy 的影响。 尽管 Astra 能够使用工具，显式工具使用似乎未显著影响性能。
图 17. 有无工具得出相似结论。 五个选定的匹配轮次。启用工具的轮次还包含编码指导和工作区支持。
图 18. 工具使用示例。 左：Astra 放大肩相机观测以检查杯子上方的马克笔后再下降。右：Astra 利用 11 个蓝色方块观测拟合从末端执行器位移到图像位移的局部映射。

3.2.2 显式规划是否有帮助

我们为三种规划条件进行比较：

显式规划：行动前将任务分解为短序列子目标，跟踪当前子目标并根据观测结果修订计划。
无显式规划：无额外规划指导。
劝阻规划：直接从当前观测、任务目标和反馈中选择下一步动作，不撰写多步计划、子目标或检查清单。

rollout 摘录显示，即使没有请求书面计划或劝阻规划时，Astra 仍能识别已完成的子目标并选择下一个物体。显式规划指令在此比较中未显著改善观察到的成功率：显式规划 86.0%，无显式规划 90.0%，劝阻规划 81.0%。

图 19. 即使没有显式规划指令，进度跟踪仍然存在。
图 20. 显式规划对性能的影响。 显式规划指令未显著改善观察到的成功率。

3.2.3 提供运动误差反馈是否有帮助

移除显式运动误差反馈将成功率从 85.9% 变为 85.2%，完成分从 90.8% 变为 89.8%。两种条件均保留图像和机器人状态观测。

图 21. 显式运动误差反馈对成功率观察影响很小。

3.3 Astra 何时进行干预

在 Orchestrated Policy 中，Astra 审查由 Cosmos3-Nano-Policy 提出的动作块。我们分析 Astra 在 4,254 个连续干预块中接管的主要原因（使用 Qwen3.5-35B-A3B 分类）。10 个任务没有干预。

图 22. Astra 从 Cosmos Action 接管的原因。

3.4 最终配置

综合以上研究，我们确定以下默认配置用于完整的 RoboLab-120 评估。

表 2. 默认策略配置

配置项	Direct Policy	Agentic Policy	Orchestrated Policy
动作生成器	Astra	Astra	Cosmos3-Nano-Policy / Astra
动作	绝对末端执行器位姿	绝对末端执行器位姿	策略提议 + Astra 审查与干预
时域	动态 3--15 动作块（90 任务）；历史 1--15 块（30 任务）	1 个目标，执行 1--5 控制步	审查 15 控制步
历史	三个观测 t−14, t−7, t；无持久对话	完整文本和视觉交互历史	跨决策的有界记忆
几何	提供夹爪和相机几何	提供夹爪和相机几何	---
执行	观测到动作 API 调用	---	接受或编辑提议，或直接末端执行器控制
脚手架	---	保留规划指令和运动反馈；可选工具禁用	可选原生工具禁用；策略控制工具可用

共享设置： GPT-6 Astra，medium 推理力度，默认语言指令，三个相机视角 384 × 216，15 Hz 控制。

4. 运行时性能

4.1 延迟

Astra 能力强大，但耗时较长。在 RoboLab-120 的成功轮次中，Direct Policy EEF 推理平均 18.56 秒/次 。总体而言，推理占估计总 walltime（任务 rollout 时间 + 推理时间）的 97.0%。对于 Orchestrated Policy，Astra 决策平均 11.50 秒，Cosmos Action 推理平均 2.74 秒/请求，合计占估计回合时长的 94.9%。实际上，回合的大部分时间都在等待下一个动作。

作为对比，Black Forest Labs 报告在 H200 BF16 上 π0.5 的中位延迟为 46.96 毫秒 ，Cosmos 3 Nano 直接推理为 713.76 毫秒 $14$ 。

我们在下方案示了一个酸奶任务的实际效果。加入推理时间后，该任务估计耗时 3 分 57 秒 完成，其中动作执行时间仅约 5.2 秒。虽然通用大模型具备能力，但能力与实时控制和部署之间存在显著差距。

配置	延迟/调用	推理占比
Direct Policy EEF	18.56 s	97.0%
Direct Policy jointpos	20.19 s	97.4%
Direct Policy bspline	21.68 s	97.0%
Agentic Policy	13.37 s	97.8%
Orchestrated Policy	11.50 / 2.74 s	94.9%
FLUX 3 Action (WAM)	397.74 ms	16.1%
Cosmos3-Nano-Policy (WAM)	713.76 ms	25.6%
π0.5 (VLA)	46.96 ms	4.6%

表 3. 推理主导所有三种 Astra 策略形式的估计回合时长。 Astra 推理包含网络延迟。RFM 延迟为 H200 BF16 上每预测动作块的中位端到端延迟。
图 23. 包含推理时间的任务 rollout。 一个成功的酸奶入碗回合以 5 倍速播放，记录了插入动作块之间的推理延迟。计时器包含 5.2 秒动作和 232.6 秒推理（共 12 次调用）。

4.2 Token 成本

Agentic Policy 更高的成功率伴随着高得多的 Token 消耗。在成功轮次中，Agentic Policy 平均消耗约 3090 万 Token，Direct Policy 约 16 万 Token，Orchestrated Policy 约 1100 万 Token。

图 24. RoboLab-120 上的 Token 成本与成功率：Agentic Policy 更高的成功率伴随着大得多的报告 Token 成本。 所有数值均为成功轮次报告值。Token 成本估计为近似值，基于 2026 年 10 月 1 日公布的定价。

5. 研究结论

本报告表明，Astra 可以作为通用抓取放置任务的原生机器人策略，其动作接口和支持上下文在推理时指定。在 RoboLab-120 上，表现最佳的 Agentic Policy 达到 74.8%。结果展示了 Astra 原生推理动作表示和任务语义的强烈效果。消融实验显示，在 Agentic 设置中保留交互历史显著有助于性能，而工具使用未带来额外收益。在 Orchestrated 配置中，将动作提议委托给 WAM 并未明显优于 Astra 的原生动作生成。

如何最佳地将 Astra 与专用 VLA 或 WAM 结合仍是一个开放问题：委托哪些决策、Astra 何时应审查或干预、以及由此带来的收益是否值得增加的延迟和成本。综合这些发现，研究确立了 substantial 的操作能力，同时表明周围的接口、上下文和执行循环是其性能的核心。

6. Astra 的失败模式

我们的研究表明，虽然 Astra 是抓取放置通用操作的有能力机器人策略，但 Astra 仍然对空间对齐和提示敏感。在几何消融中，不充分的指导可能导致重复的夹爪调整，而非成功的接近和抓取。即使提示中加入了几何信息，我们观察到的一个反复出现的限制是：在 RoboLab-120 中，将尝试的操作转化为完成的抓取、转移或放置。这些观察表明，在线运动修正并不一定能对具有挑战性的抓取任务产生有效的物理进展。

智能体辅助整体上提高了可靠性，但几种失败模式仍然存在：错误的目标选择、不稳定或阻碍性的抓取、不完整的操作序列以及不成功的恢复。我们观察到策略将物体放入错误的容器、以困住夹爪的方式抓取物体、在运输中丢失物体，或反复重新定向物体而无法完成放置和释放。恢复尝试也可能重复无效动作或无法取回掉下桌面的物体。辅助的益处因任务而异。这些结果表明，持久化上下文和策略辅助解决了一些执行挑战，但并未始终解决抓取误差。

我们还强调将 Astra 部署为实时机器人策略的挑战：Direct Policy 平均每次推理调用 18.56 秒，Agentic Policy 每成功轮次估计成本为 3090 万 Token（36.40 美元）。这些时序结果表明，当任务需要对快速变化场景进行实时适应时，在动态任务环境中可靠运行可能具有挑战性。

7. 研究局限性

统计显著性。 本报告的发现应在评估预算的视角下解读。虽然每个任务评估 5 轮，但 substantial 的推理成本和 wall-clock 时间限制了可用于刻画运行间变异性和策略间差异的重复试验数量。因此我们尚未确立报告的配置间差异的统计显著性，特别是消融中较小的差距。结果提供了能力的证据，并提示哪些设计选择值得进一步研究，但不应被视为参数效应的确定性证据。

任务覆盖。 我们的评估聚焦于 RoboLab-120 中的通用抓取放置操作。未涵盖接触丰富任务（如插入或装配）、极长程移动操作，或需要快速反应的高度动态任务。推理期间仿真暂停，因此评估也未测试策略在环境持续变化时是否能有效响应。报告的结果因此确立了所评估任务分布内的能力；更广泛的操作能力和实时响应性仍是开放问题。

模型接口。 我们通过模型的公开接口进行评估，对模型的托管方式或策略服务器上可能可用的内部工具和处理流程可见性有限。因此我们的分析仅限于可观察的输入、输出、执行行为以及我们能在推理时变化的参数。这些消融刻画了部署系统对其接口和上下文变化的响应方式，但无法完全分离底层模型的能力与未观察到的服务基础设施或内部处理的影响。

致谢

感谢 Elie Aljalbout、Alperen Degirmenci、Hugo Hadfield、Jingyi Jin、Max Zhaoshuo Li、Yashraj Narang、Fabio Ramos、Moritz Reuss、Jonathan Tremblay、Zhuocheng Xu 在构建本博客文章过程中富有成效的讨论。

参考文献

Yang et al. RoboLab: A High-Fidelity Simulation Benchmark for Analysis of Task Generalist Policies. RSS, 2026.
Octo Model Team et al. Octo: An Open-Source Generalist Robot Policy. RSS, 2024.
NVIDIA. Cosmos 3: Omnimodal World Models for Physical AI. 2026.
Li et al. Causal World Modeling for Robot Control. RSS, 2026.
Physical Intelligence. π0.5: a Vision-Language-Action Model with Open-World Generalization. CoRL, 2025.
Zhang et al. An Unexpected Robot Policy: Early Evaluations of GPT-6 Astra on RoboDojo and Beyond. 2026.
Su et al. GPT 6 Astra as an Embodied Policy. 2026. Technical report.
Galbot Team. Systematically Exploring the Capabilities of GPT-6 Astra as Embodied Policies. 2026.
DROID Dataset Team. DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset. RSS, 2024. Accessed October 11, 2026.
Zhou et al. BEAST: Efficient Tokenization of B-Splines Encoded Action Sequences for Imitation Learning. NeurIPS, 2025.
Gasparetto and Zanotto. A new method for smooth trajectory planning of robot manipulators. Mechanism and Machine Theory 2007, 42(4), 455--471.
Han et al. B-spline Policy: Accelerating Manipulation Policies via B-spline Action Representations. 2026.
Fu et al. ICRT: In-Context Imitation Learning via Next-Token Prediction. ICRA, 2025.
Black Forest Labs. FLUX 3 Action. 2026. Model report.
OpenAI. OpenAI API pricing. Accessed October 11, 2026.

引用

bibtex 复制代码

@misc{yang2026astranomy,
  title        = {Astranomy: The study of {GPT-6 Astra} as a native robot policy},
  author       = {Yang, Jenai Xuning and Khetan, Ashna and Zhang, Shun},
  year         = {2026},
  month        = {October},
  organization = {Seattle Robotics Lab (SRL), NVIDIA},
  howpublished = {\url{https://research.nvidia.com/labs/srl/projects/astranomy/}},
  note         = {Blog post},
}