机器人模型已经学过大量操作示范，到了具体桌面上，仍可能卡在方块对齐、抽屉开合这样的细节。继续补数据时，一个实际问题随之出现：有限的采集时间，应该花在哪些动作上？如果只是重复顺利完成任务的过程，模型最需要学习的情形可能仍然缺席。
HIL-UMI尝试让当前模型参与决定"接下来采什么"。人拿着手持夹爪完成操作，模型观察同一场景并预测动作；系统比较两者的差异，提示补充有针对性的示范。采集阶段不用让机器人执行模型动作，更新后的策略则仍要接受真机检验。
这项研究来自北京大学、启元机器人等机构。本文依据2026年10月8日更新的arXiv v2预印本，讨论对启元Q1机器人开发的启发。论文实验使用Franka机械臂，结果均来自作者报告，不代表Q1已验证。论文与版本记录
目录
- [1. 为什么追加示范，模型仍然学不好](#1. 为什么追加示范，模型仍然学不好)
- [2. 人在操作，模型怎样暴露自己的短板](#2. 人在操作，模型怎样暴露自己的短板)
- [3. 收到新数据之后，还要学会判断动作价值](#3. 收到新数据之后，还要学会判断动作价值)
- [4. 四项实验，究竟证明了什么](#4. 四项实验，究竟证明了什么)
- [5. 5.63倍的采集效率，要连同比较对象一起读](#5. 5.63倍的采集效率，要连同比较对象一起读)
- [6. 对启元Q1机器人开发，哪些思路值得借鉴](#6. 对启元Q1机器人开发，哪些思路值得借鉴)
- 参考资料来源
1. 为什么追加示范，模型仍然学不好
视觉---语言---动作模型（VLA）接收图像和语言指令，输出机器人动作。"策略"就是模型根据观察决定后续动作的规则。把它用于特定任务，常见做法是先收集人类示范，再做监督微调（SFT），让模型模仿"这种观察下，示范者采取什么动作"。
困难在于，熟练的人和学得还不够好的模型，会把任务带到不同状态。人抓取时通常直接调整到合适位置；模型稍微抓偏，后续画面、物体姿态和可用动作都会改变。这样的状态若很少出现在示范中，后面的误差就可能继续累积。论文将模型训练数据覆盖不足的情形称为分布外状态，即OOD。
DAgger一类方法会让策略实际运行，再请人对它遇到的状态提供正确动作。这样能直接接触模型的问题，但真机执行、人工接管和恢复环境都要付出时间。UMI（通用操作接口）提供了另一种采集方式：人使用带有传感器的手持夹爪，记录可用于机器人学习的观察和动作。
HIL-UMI把当前策略接入UMI采集过程，让"收集一批数据再训练"变成多轮、有反馈的迭代。还要解决的另一件事是：一段示范里，不同动作对完成任务的贡献并不相同。系统因此同时维护动作策略和一个估计任务进展的模型。论文 §I---III
图1｜两路数据分开采集、分别使用；策略在采集时只做预测。依据论文 §III整理；虚线连接的Q1适配节点为开发启发。
2. 人在操作，模型怎样暴露自己的短板
先看为动作策略补数据的那一路。面对同一时刻的观察和指令，模型随机预测10组动作片段。片段包含一小段连续动作，而非单个夹爪位置；论文中的动作预测长度为20步。系统待对应的人类动作片段完整产生后，再进行比较，因此它并没有提前知道人会怎样操作。
为什么要预测10组？同一个任务可能存在多条可行轨迹，随机策略的预测也会变化。只拿一次预测与人比较，容易把正常差异误当成能力缺口。论文使用Energy Score（能量评分），同时考察预测与人类动作的距离，以及预测样本之间的分散程度。
用简化记号表示，设人类动作片段为H，模型预测为A₁至Aₙ，距离为ρ，则：
ES = 模型预测到H的平均距离 − 不同预测样本之间平均距离的一半。
第一项衡量模型与人的偏离；第二项考虑模型自身的预测分布，避免退化成单一路径的误差比较。ρ同时计算末端位置、朝向和夹爪命令的差异。这里的"能量"是统计评分名称，与机械能、耗电量无关。
ES超过阈值，就触发从当前状态到当前子任务结束的新示范采集。这样补进训练集的片段，会集中在模型预测难以覆盖人类做法的地方。但高分只代表两者分歧较大，不能直接证明模型动作必然失败；它是一种筛选有价值数据的信号。
这里也有方法本身的边界：观察仍来自人的操作过程。机器人真正执行时，可能因抓取打滑、控制偏差而进入人没有走到的状态，单靠这套采集机制不能保证发现它们。HIL-UMI减少了对真机运行的依赖，但保留独立的真机评测，才能判断补来的示范是否覆盖了实际问题。
图2｜手持设备结合夹爪、位姿追踪与腕部相机，另有固定视角相机。转载论文 Figure 3，Han等，CC BY 4.0。
作者使用Meta Quest 3追踪手持设备位姿，配合RealSense D405和D455采集图像，并在RTX 4090D工作站上运行模型。策略OOD检测器延迟为112毫秒，优势OOD检测器为93毫秒。这说明"采集不用机器人执行"仍需要传感器、同步和计算支持，不能理解为用任意手持视频就能完成同样训练。论文 §III-A、§IV-A及Table II
3. 收到新数据之后，还要学会判断动作价值
另一条采集流服务于"优势模型"。这里可以把优势理解为一段时间内的任务进展：比较前后两幅观察，结合任务指令，估计动作使任务向完成推进了多少。
这一路有一个前提：操作者正在示范能够推动任务的行为。若模型仍给出较低进展分数，系统就把相应片段视为需要补学的困难样本，采到子任务结束，用于更新优势模型。低分在这里首先提示的是进度估计可能不准，不能直接解释为"人做错了"。
进展标签也值得细看。作者把完整示范的时间位置线性映射到0---1，再用两帧对应进度之差作为监督目标。对于只覆盖某个子任务的新片段，则按它与基础示范平均长度的比例缩放，避免把一小段操作误标成完成了整个任务。这是一种便于构造的进度近似；停顿、速度差异与回退是否影响估计，仍是应用时需要验证的问题。
随后，作者用优势条件行为克隆（ACBC）更新策略。基础数据按估计进展分数分组，前30%标为正优势，其余标为负优势；历轮定向采集的策略数据全部标为正优势。标签被加入语言条件，模型在保留不同质量样本的情况下学习动作，推理时使用正优势条件。论文 §III-B---C
这套条件化训练从初始化就开始使用：先用基础示范训练进度估计器、分配标签，再得到HIL-UMI的基础策略。进入后训练轮次后，当前轮新数据与历史数据各占50%的采样权重；历史数据包含基础示范和此前补采数据。这样既关注本轮发现的问题，也保留已有经验。
图3｜当前轮与历史数据各占50%的采样权重；新增优势模型数据另有用途，不直接混入这张图的策略数据。依据论文 §III-C和Table II整理；Q1插画表示待验证的适配方向，不代表已部署ACBC。
负标签样本仍然参与动作学习，模型通过附加条件区分它们与正标签样本；执行时选择正标签条件，偏向更能推动任务的行为。对开发者而言，我认为值得借鉴的是把两类问题分开：动作策略需要补什么示范，进度判断器又在哪些地方不可靠。两个模型各自得到反馈，才有机会减少错误评分对策略学习的影响。
4. 四项实验，究竟证明了什么
作者基于π₀.₅进行任务适配，在一台Franka机械臂上评测叠毛巾、收拾桌面、叠方块和盖章。前两项考验多步骤操作，后两项更关注位置与朝向精度。
图4｜四项真机评测任务。转载论文 Figure 4，Han等，CC BY 4.0。任务画面是作者实验记录。
长程任务的基础数据各有50条示范，每轮新数据预算为12000帧；精细任务各有80条基础示范，每轮为2500帧。论文将HIL-UMI与常规UMI采集加SFT比较，并加入去掉优势模型的版本。HIL-UMI每轮为两路采集分配相等帧预算；正文未进一步澄清上述数字是单路还是合计口径，因此不能把这项比较外推为两种方法总人工投入完全相同。
每个保存的策略模型在每项任务上评测10次，初始物体位置在30×60厘米区域内变化。主指标TPS是0---100的任务进度分，可以给部分完成的子任务计分。例如叠方块：抓住紫色方块得30分，移到红色方块附近再得30分，成功叠放再得40分。未触发扣分时，仅完成前两步也能得到60分，却没有完成整个任务；若只抓住方块一角，还要扣15分。
图5｜原论文 Figure 5，纵轴为TPS，最右侧为四项任务平均值。每项任务、每个保存的模型取10次试验均值。转载自Han等，CC BY 4.0。
图中完整HIL-UMI持续提升，SFT收益较有限。无优势模型版本也随训练提升，但同轮分数普遍低于完整版本，叠毛巾的最终分数则很接近。阈值消融表还给出一个明确例子：叠方块在选定阈值下的TPS从84经86、90升至100。它支持定向采集与优势条件训练相结合的有效性，但消融同时移除了优势模型和ACBC，不能据此独立量化每个组件的贡献。
读曲线时还要看起点。HIL-UMI和SFT在Base阶段的得分已经不同，而两者的初始化训练方式也不相同。最终分差包含基础训练和后续迭代的共同影响，不能全部记在定向补采的账上。更适合结合各方法自身的变化和消融结果，判断完整方案的收益。
阈值也会影响结果。作者只在叠方块任务上做了相关消融：策略差异阈值太低，容易采入模型已能覆盖的普通片段；太高，又可能漏掉值得补学的状态。不同设置的最终TPS为90---100，部分中间轮次还出现下降。因此，迁移到新任务后应重新检查触发片段的质量，不能把论文阈值当作通用配置。
"接近100"也不能直接改写成"成功率接近100%"。TPS允许部分得分，10次评测的均值更不足以证明长期可靠性。文中没有报告置信区间、多随机种子结果或显著性检验，曲线显示的差距还需要更充分的重复实验来判断稳定性。实验展示的是特定装置、任务和位置变化下的改进；跨机器人、跨家庭或开放环境泛化，需要更多验证。论文 §IV-B---C、Table I与III
5. 5.63倍的采集效率，要连同比较对象一起读
在收拾桌面任务上，真机HG-DAgger每记录一帧的采集耗时为412.99毫秒，HIL-UMI为73.40毫秒，前者约是后者的5.63倍。这个数字描述的是该任务的数据采集时间，不能外推成训练速度、机器人执行速度或整体研发成本的提升比例。
图6｜依据论文Table IV与 §IV-E数据重绘。仅比较Clean Up Table，数值越低代表采集每帧所用时间越少；不是模型推理延迟。
换成普通UMI-SFT作参照，情况就不同了：它在同一任务上只需41.70毫秒，比HIL-UMI更快。Table IV的其余三项任务也都是HIL-UMI每帧采集耗时更高。在线推理与样本筛选存在开销，论文的价值在于用这些额外时间换来更有针对性的数据，最终任务表现随迭代改善。
因此，评估这类方案时应同时记录"采到多少数据、花多少时间、模型改善多少"。只看采集帧数会漏掉筛选成本，只看每帧速度则可能忽略样本价值。论文尚未给出硬件、算力与人工维护的完整成本核算。论文 §IV-D---E
6. 对启元Q1机器人开发，哪些思路值得借鉴
HIL-UMI最值得借鉴的是采集策略：下一轮示范由当前模型的薄弱环节驱动。对于已有学习策略的操作项目，可以先把失败定位到具体子任务，检查观察、动作和时间戳，再判断应补充哪类状态。这比无差别扩充相似示范，更有希望解释一次数据迭代究竟改善了什么；这是本文的工程建议，尚不是在启元设备上的验证结论。
例如，为一个抓取后放置的项目设计评测时，可以分别记录"抓到物体""到达目标附近"和"完成放置"，同时单独记录整次任务是否成功。记录补采前后的模型版本，使用一致的初始位置集合和终止条件，再比较更新后的变化。这样既能看到局部进步，也能避免部分得分掩盖最后一步失败；它不要求先把整套论文系统搬过来。
启元社区已提供Q1/T1的ROS2 SDK、URDF及仿真资料，PrimeConsole也提供日志、视频、运动控制和仿真入口。这些工具有助于检查接口与执行过程，但不能据此推断它们已经集成HIL-UMI。若要迁移该方法，仍需核对相机视角、坐标系、末端动作表示、夹爪能力与控制周期，并重新建立任务数据和评测标准。启元开发资料页
复现条件也要留意：截至本文核验时，官方仓库仍标注"Code is coming soon!"，没有可直接运行的完整实现。跨地点并行采集则被作者列为未来工作。现阶段适合先理解论文的数据组织、筛选条件和评测口径，再随代码发布检验实现细节。官方仓库
对启元开发者，实践可以从一次范围明确的数据迭代开始：说清在哪个任务、哪些状态下补了什么，以及更新后哪些指标发生变化。把这些记录与接口适配问题带到启元机器人开发者社区交流，也更便于他人判断哪些经验能够复用。
参考资料来源
- Han, Z. 等，HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface ，arXiv:2609.20659v2，2026-10-08；PDF。方法、参数与实验以此版本为准。
- HIL-UMI作者项目主页；官方代码仓库。
- 启元机器人开发者社区；SDK、仿真与PrimeConsole资料页。
- 图2、4、5分别转载上述论文Figure 3、Figure 4、Figure 5，版权归Han等原作者所有，按论文标注的CC BY 4.0许可使用。