26年9月来自上海科技大学和瞬适科技（InstAdapt）的论文"EmbodiRSI: Recursive Self-Improvement for Data-Efficient Robot Adaptation"。
EmbodiRSI 最有价值的地方，是把机器人适配组织成"执行---发现弱点---补充针对性经验---再训练"的闭环。 它展示这一闭环在特定场景中节省真实示教数据的潜力；目前的证据主要支持短期、场景内的策略改进，长期持续改进和跨场景泛化仍待验证。
论文处理的问题是：机器人当前缺什么经验，会随着能力提升而变化。 固定示教集通常覆盖正常执行，却较少覆盖抓空、物体被碰偏等策略自身造成的状态。EmbodiRSI 因而同时调整策略参数和下一轮数据的采集分布。
如图 1 所示 EmbodiRSI 概览：
如图 2 所示EmbodiRSI 中的递归自我改进环：Rollout 监控器结合多视角相机观测与仿真器状态，在无需重置的情况下触发从当前状态的恢复。故障分析指导针对性的数据收集。成功的 Rollout（包括经修正后完成的案例）与新生成的演示数据会被累积起来，用于更新下一轮的策略。外部恢复机制仅在训练期间使用，评估过程则是自主进行的。
其整体框架可以表示为：
方法的要点，在于两个不同时间尺度的反馈机制，以及支撑它们的可执行仿真。
- 把目标工作空间转化为可重复练习的环境。
场景智能体调用 SAM 3 分割物体、SAM 3D 重建带纹理网格，再修正物体穿插，同时维护支撑、包含等关系。初始场景与整理后的目标场景共同定义操作任务。这里仿真的作用贯穿训练全过程，包括重置、诊断、纠错和补采数据。 - 把高层规划转化为经过验证的示教。
智能体先规划物体的移动路径，GraspGen 提供抓取候选，cuRobo 验证机器人运动。轨迹需要通过物体扫掠碰撞、多视角检查、连续运动可行性和实际执行检查。路径点绑定源物体或目标物体，位置变化后可以重新定位和规划，因此同一任务程序能够反复利用。 - 协同错误纠正：补充"犯错以后怎么办"的经验。
监测器结合图像、动作历史和仿真状态，决定继续、恢复或完成。当策略抓空或碰偏物体时，系统从当前物体位姿和机器人关节状态重新规划，不重置成干净的起始状态。例如，笔已经被推离原位，纠错轨迹就从这个偏移后的状态开始。成功续接的经历进入训练集，让策略接触正常示教中缺少的状态。 - 自适应数据采集：补充"哪些配置还不会"的经验。
系统将最终失败归因于源物体位置、目标位置或其他原因，再在归一化的位置网格中寻找失败集中区域。下一轮配置分布为：
p_{k+1}(c)=(1-alpha)p_0(c)+alpha p_{hard,k}(c) ，这表示保留一定的原始分布覆盖，同时增加困难配置的练习。测试分布保持不变。需要注意，其已实现的自适应主要围绕任务配置和重置区域展开，任务预算与迭代轮数预先固定。 - 把新增经验用于下一轮策略更新。
数据集按下式累积：
D_{k+1} = D_k U D_k^roll^ U D_k^new^，前者是执行与纠错产生的经验，后者是重新生成的示教。更新后的策略再次执行，形成下一轮反馈。
从模型角度看，需要区分机器人策略、价值模型和负责组织流程的智能体。
| 部分 | 论文中的实现 | 主要作用 |
|---|---|---|
| 机器人策略 | 从预训练 pi_0.5 初始化的 VLA 策略 | 将视觉、机器人状态与语言指令映射为动作 |
| 价值模型 | 同一预训练检查点的视觉语言骨干，加价值预测头 | 为训练数据提供优势标签 |
| 场景、轨迹与监测智能体 | 基于 GPT-5.5 的智能体系统 | 规划、诊断、调用工具和决定采集配置 |
| 仿真与几何工具 | Isaac Sim、SAM 3/3D、GraspGen、cuRobo 等 | 提供重建、物理执行和可行性验证 |
| 工作流协调器 | 基于 OpenClaw，通过 MCP 协调 | 管理依赖、任务执行、训练和产物检查 |
策略输入包括头部与双腕相机 RGB、14 维机器人状态，以及语言指令；每个场景训练一个覆盖该场景全部子任务的策略。仿真物体位姿用于训练时的诊断工具，不作为策略输入。
策略学习沿用 RECAP 式优势条件化。论文定义：
实际设置为 R_t^(n)^=0, n=50，所以标签取决于前后价值估计的变化。这个二值标签以文本条件输入策略，动作监督仍来自记录的轨迹，优化目标是条件化行为克隆。
因此，理解其"递归自我改进"的准确位置很重要：递归发生在策略执行、经验获取和再训练之间；学习目标与主要模型结构保持固定。 它的主要创新落在系统和数据闭环层面。
论文的实验结果可以这样解读。以下数字均采用场景等权平均，轨迹预算均指每个子任务：
| 比较 | 结果 | 支持的结论 |
|---|---|---|
| 三个场景的仿真迭代 | R0：50.4% → R1：70.7% → R2：83.5% | 两轮更新后自主执行能力提高 |
| 相同 400 条仿真轨迹，S1/S3 | 静态采集 59.3%，EmbodiRSI 79.9% | 收集什么经验具有实际价值 |
| 相同预算，S1/S3 实机迁移，未做真实微调 | 静态采集 46.3%，EmbodiRSI 59.2% | 仿真中的闭环收益部分迁移到实机 |
| 三场景 R2 实机执行 | 真实微调前 62.8%，加 10 条 HIL 后 83.1% | 少量真实纠错经验仍然非常重要 |
| 三场景最终实机比较 | 400 条仿真＋10 条 HIL：83.1%；200 条纯真实示教：75.0% | 在这些任务上显著节省保留的真实训练轨迹 |
这里最有说服力的是相同保留数据量下的静态采集对照。单看 R0 到 R2，数据量也从 50 增至 400 条，无法把提升全部归因于反馈机制；匹配数据量的实验更能支持闭环采集的价值。不过，这个对照只覆盖 S1、S3 两个场景。（正文表 1、表 2；附录 D、E）
它的贡献主要体现在三点。
- 把失败状态纠错与困难配置补采连接起来。 前者解决策略偏离正常轨迹后的状态覆盖，后者改善下一轮起始配置覆盖，二者具有互补性。
- 建立了从诊断到可执行训练数据的完整通路。 高层智能体的判断通过几何检查、运动规划和执行验证落到实际轨迹，这是系统可靠性的关键。
- 验证了训练时外部辅助可以转化为策略自身的能力。 最终测试禁用智能体接管、规划器恢复和人工纠正，因此测试中的重新尝试确实由学习后的策略产生。
从研究定位看，它把数据聚合、困难样本采集、优势条件化学习和 Real2Sim2Real 整合为一个可运行系统。贡献的重心是这些环节如何协同工作，以及所获得的数据效率收益。
目前最重要的问题如下。
- 各组件的独立贡献尚未分清。
完整方法同时引入纠错经验、定向补采和智能体诊断。现有对照无法回答：究竟哪一项贡献最大，两者是否必须联合使用，或者简单规则能否替代部分智能体推理。尤其不能将表 1 的全部收益单独归给"自适应补采"。 - 对"持续自我改进"和泛化的证据较窄。
只有两轮更新、三个桌面场景、14 个子任务，且每个场景分别训练。子任务独立测试，没有验证完整整理桌面的长序列执行。论文中的"零样本实机迁移"指没有任务特定的真实策略微调；仿真本身已经利用目标工作空间的观察进行构建。 - 困难区域统计可能掩盖策略对纠错的依赖。
一个细节很关键：经过接管后成功的回合，不计入最终失败分子。因此，某区域即使经常需要接管，也可能呈现较低的"失败率"。这是辅助采集过程的统计量，与策略自身的失败率存在差异。我的判断是，后续应分别记录首次失败、接管频率、接管后成功和最终失败。 - "真实轨迹减少 20 倍"不能直接换算为总成本降低 20 倍。
400 条指最终保留的成功轨迹，没有包含失败尝试、重建与修复、智能体调用、规划以及训练成本。HIL 纠错与标准真实示教的采集方式也不同。现有结果有力支持真实训练数据节省，但还缺少完整的时间和经济成本核算。 - 价值学习与数据筛选仍有值得追问的地方。
附录明确说明，实验中只保留最终成功的轨迹，最终失败轨迹用于归因而不进入策略训练。这可能使无法恢复的状态缺少训练覆盖。同时，优势标签依赖价值模型的差分，价值估计误差可能影响标签质量。该版对价值模型训练、阈值选择和关键采集超参数的披露仍不足以让读者完整复现。 - 统计精度和实机差距限制了结论强度。
每个任务、每种设置仅有 10 次实机测试；表中的标准差是任务之间的差异，不能代表多次独立训练的稳定性。与 200 条真实示教相比，14 个任务中是 8 个更高、5 个持平、1 个更低，尚不适合宣称全面优越。另外，R2 实机成功率从 62.8% 经 HIL 提高到 83.1%，说明真实环境中的残余误差仍是重要瓶颈。
下一步工作，包括留出工作空间评估、更长的改进过程，以及组件消融。在此基础上，按以下优先级推进：
| 优先级 | 下一步工作 | 具体做法与应回答的问题 |
|---|---|---|
| 最高 | 拆分闭环机制的贡献 | 做"有/无纠错 × 有/无自适应补采"的四组实验，再比较普通行为克隆与优势条件化；同时控制保留轨迹数、训练步数并报告采集成本 |
| 最高 | 修正困难度估计 | 将无辅助执行失败率、接管率、最终失败率分开；比较它们指导采集时，哪种更能提升下一轮自主成功率 |
| 高 | 从失败频率转向学习收益 | 为困难区域分配小批量试探数据，估计新增经验带来的成功率提升；优先采集单位成本收益高的配置 |
| 高 | 让真实失败反过来更新仿真 | 利用实机误差校准物体几何、摩擦、接触和相机参数，围绕不确定性生成数据，再检验能否降低对 HIL 的需求 |
| 高 | 验证长期与跨场景能力 | 在留出物体、工作空间和布局上测试；增加迭代轮数，跟踪平台期、遗忘和负迁移，并评估完整多步骤任务 |
| 中 | 量化恢复能力并利用失败数据 | 建立统一的抓空、滑落、碰偏等扰动测试；报告自主恢复成功率，并比较加入失败轨迹是否改善价值校准与恢复行为 |
如果要从这篇论文延伸出一个更有研究辨识度的课题："以自主失败和预计学习收益为依据的采集决策"。它直接针对当前闭环中的薄弱环节：一个配置容易失败，并不意味着继续为它采集数据最划算。把"哪里失败最多"推进到"下一单位数据最值得采在哪里"，能够让自我改进的机制更清晰，也更容易用严格实验验证。