论文：AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics，2026年10月来自中佛罗里达大学、南加州大学和密歇根州立大学。
AgenticRoboRL 的主要贡献，是把成熟的 Agent 后训练方法可靠地接入机器人规划系统，并证明"小模型规划器可以通过训练显著变强"。它的价值偏向训练框架和实验验证，强化学习算法本身的新颖性相对有限。 同时，论文对"跨任务泛化""跨执行框架迁移"和真实机器人能力的证据还不充分。
如图所示AgenticRoboRL概览：
一、它具体做了什么
AgenticRoboRL 训练的是机器人系统的高层规划器：规划器观察执行反馈，多轮调用 VLA 技能或生成控制代码；底层 VLA、感知模块和运动控制器保持固定。
训练分两步：如图所示AgenticRoboRL训练流水线
- SFT：学习强教师的成功轨迹。 用 27B 教师训练 9B 学生。对于教师使用了外部记忆、学生却没有记忆的情况，重建学生上下文，改写依赖记忆的回答，并通过 judge 筛选。
- 多轮 RL：根据任务最终成功与否优化规划器。 同一任务、同一初始状态重复尝试，用 RLOO 计算相对优势，再用带裁剪的策略梯度更新模型。
其关键设计是把统一训练接口放在模型调用边界：记录模型实际收到的上下文、输出 token 和概率，再通过各执行框架的 adapter 关联任务结果。这样就不必统一 VLA 技能调用和 Python 控制代码的底层动作表示。
二、主要贡献
1. 提供了一个实用的、与底层动作形式解耦的训练框架。
机器人执行框架在工具、历史处理、反馈和终止条件上差异很大。本文通过"模型调用记录＋结果适配器"统一训练数据，分别接入了：
- RPent：调用冻结的 VLA 技能；
- CaP-X：生成可执行控制代码。
特别值得肯定的是，它记录每轮实际输入，而不是根据最终对话重新拼接训练上下文。这能避免历史裁剪、图像删除、推理内容省略造成的训练与采样不一致。论文还处理了策略版本、推理与训练后端概率差异，以及基础设施失败的过滤问题。这些都是多轮 Agent RL 能否可靠运行的重要细节。（第4--5页、附录A/B）
2. 有力说明了：固定执行器之后，训练规划器仍能带来显著收益。
| 执行框架与评测 | 原始9B | SFT | SFT＋RL | RL额外收益 |
|---|---|---|---|---|
| RPent／LIBERO-PRO | 18.1% | 65.1% | 71.0% | +5.9个百分点 |
| RPent／LIBERO-Plus | 19.2% | 66.7% | 72.2% | +5.5个百分点 |
| CaP-X／LIBERO-PRO | 2.7% | 18.7% | 28.5% | +9.8个百分点 |
由于底层执行组件保持固定，结果较有说服力地支持了一个结论：系统性能瓶颈的一部分确实来自规划器如何使用现有能力。
其中 RPent 的 RL 增益也不只是总分变化：800个配对评测中，RL 新解决121例，同时丢失74例，净增47例；论文报告配对符号检验 \(p=0.001\)。（表1--3、第6页）
3. 对"有记忆教师→无记忆学生"的蒸馏问题提出了具体处理办法。
教师轨迹不能直接照搬，因为教师可能引用学生看不到的记忆。论文通过改写与筛选保留更多可用监督，最终优于直接屏蔽这些回答的方式。
这具有实际意义：强教师的工具、记忆和上下文权限，往往与部署学生不同。不过，这一实验支持的是整套数据处理方案有效，还不能单独证明改写机制的贡献，原因见下文。（第5、8页）
4. 提供了一定的扰动鲁棒性证据。
同一个 RPent 检查点无需在 LIBERO-Plus 上追加训练，就在10,030个评测实例中达到72.2%，RL 在七类扰动上都优于 SFT。这比只报告原始任务成功率更有价值，说明收益能够延续到相机、光照、噪声等变化中。（表2）
三、主要不足与结论边界
1. "RL"并不是主要性能跃升的来源，SFT 才是。
LIBERO-PRO 从18.1%到71.0%，总共提升52.9个百分点，其中 SFT 贡献47.0个百分点，约占89%；RL 贡献5.9个百分点。
因此，更准确的解读是：强教师轨迹蒸馏带来了主要提升，多轮 RL 在此基础上进一步优化。 论文没有报告从原始模型直接进行 RL，也缺少等成本追加 SFT、迭代蒸馏等对照，尚不足以判断这套 RL 相比其他训练投入的优势。
2. "跨框架适用"成立，"跨框架迁移"尚未证明。
RPent 和 CaP-X 使用的是各自收集的数据、分别训练的模型。论文没有把 RPent 训练好的规划器直接放进 CaP-X 测试。
所以，它证明了同一训练流程能够复用于两种框架，没有证明一个规划器已经学会跨框架通用的机器人规划能力。（第7页）
3. 泛化主要是已知任务上的新状态与新扰动。
训练和评测主要共享底层任务，隔离的是初始状态：训练使用11--44，评测使用1--10。LIBERO-Plus 也基于相同底层任务添加扰动。
这一划分能检验状态和扰动泛化，但对新任务、新物体、新技能组合、不同机器人形态的泛化支持有限。论文没有据此证明完全未见任务上的通用规划能力。（第6页）
4. "无外部记忆接近大模型"的比较需要谨慎解释。
学生在测试时确实不检索外部记忆，但其教师使用了任务记忆，因此相关知识可能已经通过轨迹进入学生参数。无检索不代表训练过程中没有利用记忆知识。
此外，71.0%接近 Codex＋记忆的72.1%，是特定设置下的系统级成功率接近；Codex 数据引用自已有工作，且论文未提供这一比较的等价性检验、完整成本或延迟对照。它不能直接推出9B模型与该大模型的整体能力相当。表1中 Claude Code＋记忆仍达到82.4%。
5. 稀疏奖励和整段轨迹共享优势，限制了探索与信用分配。
每个 episode 只有最终成功/失败奖励，选中的回答共享同一个优势值。这意味着模型难以明确区分：
- 哪次调用促成了成功；
- 哪次重试没有必要；
- 哪一步错误导致最终失败。
同组尝试全部成功或全部失败时，优势为零，没有训练信号。CaP-X 还依据验证集表现选择中等难度任务参与 RL，将始终失败的任务排除在训练池外。这有利于训练效率，却也限制了模型突破最困难任务的机会。（第5页、附录C）
6. CaP-X 的提升明显，但覆盖面仍很不均衡。
最终28.5%的成功率主要来自 Object 类任务：两项达到67%和72%；Goal 两项只有10%和16%，Spatial 两项为6%和0%。
教师成功轨迹也仅覆盖60个任务中的26个。结果说明该流程能改善代码规划器，但还不能说明它解决了广泛的空间推理或目标操作问题。CaP-X 实验使用特权状态，且全文没有真实机器人实验，现实感知条件下的有效性仍待验证。（第7--8页、附录C）
7. 消融与效率报告不足，部分机制尚未被单独验证。
改写筛选与直接屏蔽的比较同时改变了监督内容和数据量：40,047对27,110个目标回合。作者也承认无法隔离改写本身的作用。
此外，论文缺少多训练随机种子的结果，以及对 RL 回合选择、记录一致性处理等机制的充分消融。执行预算最高允许100轮规划或7,200秒，但没有完整报告平均调用次数、token、耗时和算力成本，因此"小模型"的实际部署经济性还不明确。
这是一篇有价值的机器人 Agent 后训练框架论文，最扎实的证据是"强教师 SFT＋多轮 RL 能显著改善固定执行框架中的小模型规划器"。 若要进一步支撑更强的"通用机器人规划"主张，最需要补充的是：未见任务划分、统一预算下的训练对照、跨框架直接迁移，以及真实机器人验证。