RoboRSI详解：机器人自进化为什么需要任务结构和技能边界

写在前面

【从零走向AGI 】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。

项目地址 🔗：https://github.com/AI-mzq/From-Zero-to-AGI.git

魔方AI空间

猫先生

从零走向AGI

面试面经

AIGC算法岗/开发岗面试面经交流社群 （涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源）欢迎大家加入：https://t.zsxq.com/YtJ09

RoboRSI详解：机器人自进化为什么需要任务结构和技能边界

导读

RoboRSI 是一个机器人自我改进系统，面向复杂真实环境中的持续能力积累。它处理 code-as-policy 的典型问题：执行反馈可以把程序修好一次，但经验未必能变成后续任务可复用的能力；局部修补容易偏离目标，失败原因也可能被误归因到表面位置，而不是产生问题的技能分支。

论文提出 Top-Down Skill Refinement（TSR）。系统把任务组织为 task family、atomic task、compound skill 和 atomic/base skill 的层次，每个节点有明确接口、职责和执行记录。失败后，Reviewer 沿执行路径检查 postcondition，找到最早失败节点，并把修改限制在该节点拥有的子层级内；通过验证的更新进入下一轮，稳定分支固化为 compound skill。

在 Manager、Planner、Engineer、Reviewer 的协作下，RoboRSI 在一台 WheelSingleArm M1 移动操作机器人上完成 104 轮家庭地面清理开发。仿真中，它在 LIBERO、LIBERO-PRO、LIBERO-Plus 和 RoboTwin 上均取得最高成功率，比最强基线高 2.7--11.0 个百分点。

猫先生认为，RoboRSI 的关键不是"会修代码"，而是给执行经验一个可归因、可验证、可复用的组织方式。没有责任边界，修补会漂移成针对最新失败的记忆；TSR 把修改绑定到技能节点和历史回放，能力才能沉淀。

• 论文标题：RoboRSI: Stable, Efficient, and Reusable Robot Self-Evolution in Complex Real-World Environments
• 论文地址：https://arxiv.org/abs/2610.12424
• 项目主页：https://lab.noematrix.ai/blog/2-roborsi-research-preview/
• GitHub：https://github.com/nssmd/RoboRSI
• 论文 HTML：https://arxiv.org/html/2610.12424

原文脉络

论文先说明执行经验要成为可复用能力必须绑定到任务结构；方法部分介绍总体框架、TSR 和多智能体分工；实验给出 104 轮真机开发和仿真主结果，再分析失败类型、技能复用和关键消融，最后讨论人工知识如何沉淀为技能约束。

1-2. 背景与相关工作：修一次不等于学会一项能力

Code as Policies 让基础模型能组合感知和控制原语；OpenETA、ASPIRE、ENPIRE 等进一步把执行反馈引入修复循环。但这类系统常把失败修补在观察位置。例如末端释放失败可能源于感知、导航或运动控制；只在 release 步骤加 retry，修复既不稳定也不可复用。

RoboRSI 认为可复用经验需要两个抽象：human-friendly steering 让用户表达目标、约束、领域知识和纠偏；agent-friendly structure 给 agent 提供任务上下文、明确接口和有限职责。二者的交点是任务-技能层次。

3. 方法：TSR 与多智能体自改进循环

3.1 任务-技能层次

RoboRSI 的层次包含四类节点：task family 聚合共享目标的任务；atomic task 是有可观测结果的局部目标；atomic skill 对应 atomic task 并声明 postcondition；base skill 是工具级感知和控制原语。稳定技能序列固化为 compound skill，以参数化代码策略形式单个调用。

每个技能声明输入、输出和职责，并可被多个分支共享。人类纠偏会变成对应技能上的 runtime check、测试或维护指导。

图 1：RoboRSI 的多智能体自改进循环、真机移动操作结果和仿真结果。来源：论文 Figure 1。

3.2 Top-Down Skill Refinement

TSR 将第 t t t 轮的已发布层次写成图：

G t = ( V t , E t ) , G_t=(V_t,E_t), Gt=(Vt,Et),

节点包含 implementation 或 guidance c v c_v cv，以及 postcondition ϕ v \phi_v ϕv。执行记录 τ t \tau_t τt 保存观测和工具调用；按返回顺序得到执行节点序列 π t = ( v 1 , ... , v m ) \pi_t=(v_1,\ldots,v_m) πt=(v1,...,vm)。Reviewer 沿该路径评估 postcondition，找到最早失败节点：

v t ⋆ = v k ⋆ , k ⋆ = min ⁡ { k : ϕ v k ( τ t ) = 0 } . v_t^\star=v_{k^\star}, \qquad k^\star=\min\{k:\phi_{v_k}(\tau_t)=0\}. vt⋆=vk⋆,k⋆=min{k:ϕvk(τt)=0}.

修改范围 S t S_t St 是 v t ⋆ v_t^\star vt⋆ 拥有的子层级， ∂ S t \partial S_t ∂St 是它对外暴露的接口。一轮修订为：

Δ t = R ( G t ∣ S t , ∂ S t , τ t ) , G t + 1 = G t ⊕ V ( Δ t ; H t ) . \Delta_t=\mathcal{R}(G_t|{S_t},\partial S_t,\tau_t), \qquad G{t+1}=G_t\oplus\mathcal{V}(\Delta_t;\mathcal{H}_t). Δt=R(Gt∣St,∂St,τt),Gt+1=Gt⊕V(Δt;Ht).

R \mathcal{R} R 是 Reviewer 的 patch proposal，只能修改 S t S_t St 内节点；若接口需要变化，则先扩展到 caller。 H t \mathcal{H}_t Ht 是近期执行历史， V \mathcal{V} V 只有在 review、功能测试和 replay 无回归时才接受 patch。

图 2：Manager 组织技能层次，Planner 生成计划，Engineer 执行，Reviewer 从观测和工具轨迹中定位失败并提交 TSR-guided revision；通过验证的更新进入下一轮。来源：论文 Figure 2。

猫先生认为，TSR 的价值在于三重限制：责任树限制归因范围，接口限制修改边界，回放历史限制回归风险。没有这三层限制，代码修复很容易变成对最新场景的过拟合。

3.3 多智能体分工

Manager 分解目标、维护版本、审查修订并决定发布；Planner 根据 atomic task、当前观测和技能接口生成计划；Engineer 执行计划并实现缺失技能；Reviewer 根据观测和工具轨迹判断结果，失败时定位最早分歧点并提交 patch。

每个 agent 只看到与当前步骤相关的层级部分，因此上下文较短，修改也能追溯到明确诊断。稳定分支变成 compound skill 后，在线推理从逐步选择工具变为选择和监控技能。

4. 实验与结果

4.1 真机：104 轮家庭地面清理

平台为 WheelSingleArm M1，任务是搜索、接近、抓取并搬运垃圾到指定容器。104 轮开发累计运行 24 小时；每轮恢复基础布局，物体和容器位置部分随机。早期运行可能放置 0 个物体，后期能放置多个并返回 dock，但进步不是单调的。

图 3：物理清理任务中的技能结构变化，以及第 25、33 轮两个局部技能修订案例。来源：论文 Figure 3。

第 25 轮中，机器人到正确垃圾桶上方但没有释放，原因是观察运动容差未满足且 fallback 耗尽。TSR 将失败归因到 Place Object 的观察运动，只修改该分支并执行完整释放序列。第 33 轮中，底盘视角只看到目标桶边缘，in-hand 视角能看到完整桶；修订保持 identity 由 producer 判断，并优先完整视角。两个修订均通过离线回放和回归测试。

图 4：两场景物理移动清理。物体和容器重排后，agent 配置不变，机器人重复搜索、接近、抓取、搬运和放置。来源：论文 Figure 5。

在两场景演示中，机器人分别放置 5/5 和 4/4 个指定物体，场景切换不需要修改技能代码、prompt 或策略配置。

4.2 仿真主结果

基线包括 CaP-X、Maestro 和 OpenETA，均使用相同 backbone、工具接口、交互预算和仿真判定。LIBERO、LIBERO-PRO 和 RoboTwin 上，RoboRSI 在线自改进；LIBERO-Plus 固定 LIBERO 库测试扰动迁移。

RoboRSI 在四个 benchmark 上均为最高：LIBERO 56.0%（OpenETA 50.7%）、LIBERO-PRO 49.5%（OpenETA 38.5%）、LIBERO-Plus 42.1%（OpenETA 36.4%）、RoboTwin 24.0%（OpenETA 21.3%）。相比最强基线，增益分别为 5.3、11.0、5.7 和 2.7 个百分点。

LIBERO-PRO 的优势覆盖所有 suite 和扰动类型，Object suite 提升 16.5 个百分点，Object 扰动提升 15.3 个百分点，说明技能库在重新识别当前场景目标时更稳。LIBERO-Plus 中，固定库仍解决 30 个任务中 28 个的至少一个扰动实例。

4.3 为什么基线失败

OpenETA 和 Maestro 在 LIBERO-PRO 上约三分之二失败为 premature completion：工具返回 release 成功后 agent 声称完成，但仿真判定未完成；RoboRSI 对应比例为 10% 和 14%。差异来自完成规则：RoboRSI 的 atomic task 要用新观测检查 postcondition，而不是把工具返回值当作成功。

图 5：相同初始状态下 RoboRSI 与基线的执行对比。RoboRSI 的优势来自任务完成检查、技能修订和复用。来源：论文 Figure 9。

在发生过执行失败的 episode 中，RoboRSI 仍有 67.0% 在 LIBERO-PRO、63.2% 在 LIBERO-Plus 上完成；OpenETA 分别为 55.0% 和 51.6%。

4.4 技能复用

论文展示了在单一任务上修订的 grasp_object 被用于三个开发集外任务。三个任务在早期 frozen evaluation 中均失败，复用修订技能后成功；局部修改不是绑定原失败场景，而是转成可调用能力。

图 6：在单一任务上修订的 grasp_object 被用于三个开发集外任务，均从早期失败变为成功。来源：论文 Figure 8。

4.5 消融：自改进为什么有效

单 agent 在 50 个 RoboTwin 任务中只解决 9 个，多智能体解决 36 个。独立 Reviewer 让失败在下一次尝试前获得外部诊断，而不是由执行者评判自己。

TSR 对比 flat revision 时，二者从同一代码和同一失败轨迹开始。TSR 将失败归因到两个节点，只修改这两个节点并在两个 development seed 上成功发布；flat revision 改写了 placement policy，只在一个 seed 上成功，另一个 seed 中 agent 在物体未到目标时宣称成功，最终未发布。

Compound skill 消融显示，开启代码固化后，600 个匹配 episode 的成功率从 21.5% 升至 29.0%，解决任务数从 58/120 升至 71/120；token、模型调用和耗时分别下降 29.4%、27.2% 和 17.0%。固定调用顺序和检查步骤减少了长工具序列中的累积错误。

Backbone 消融比较 GPT-5.6-SOL、GPT-5.5 和 GPT-5.4。GPT-5.5 在 LIBERO-PRO 最高（48.6%），GPT-5.6-SOL 在 RoboTwin 最好；中位模型调用数为 115--124，差异主要来自预算耗尽次数。

成功执行也可训练小型策略。用 10 个 click_bell 和 7 个 click_alarmclock 执行训练 ACT，绝对 joint target 全部失败；chunk-relative target 后 bell 达到 4/10，alarm clock 在训练布局 6/7、非训练布局 2/3。少量示范更适合学习相对动作，而不是完整绝对关节配置。

5. 局限与未来工作

主要局限是仿真到物理的经验迁移仍待加强，未来还要跨机器人和跨平台共享技能。真机开发中，53 个分类修订触发里有 4 个需要人类提供系统无法从记录中获得的知识，例如误放置后必须由人重置场景、指定 0.02 m/s 安全抓取速度、判断包装掉落属于失败，以及终止后持物保护策略。

这些人工干预没有被简单丢弃，而是沉淀为责任技能上的 contract、checkpoint 或 test。这个设计值得注意：人类不负责反复修补，而是提供一次可复用的规则。

总结：自进化的单位不是轨迹，而是技能

RoboRSI 的路线可以收在三点：用任务-技能层次承载目标和职责；用 TSR 找到最早失败节点并限制修订范围；用 review、功能测试和回放验证更新，稳定后固化为 compound skill。

最值得带走的是：机器人自进化的关键不是保存更多轨迹，而是把经验绑定到可验证、可复用、有责任边界的技能单元上。这才是从"修好一次"走向"下次自动会用"的必要条件。

推荐阅读

► 技术资讯： 魔方 AI 新视界

► 项目应用：开源视界

► 技术专栏： 多模态大模型最新技术解读专栏 | AI 视频最新技术解读专栏 | 大模型基础入门系列专栏 | 视频内容理解技术专栏 | 从零走向 AGI 系列