AlphaNIST——针对装配任务的RL框架：仅在最后任务成功时才给二元奖励，任务过程中让机器自行探索直至完成

前言

如原论文所说，NIST 装配任务板（Assembly Task Board）依然是学习型机器人操作方法中的一个极具挑战性的基准

1. 在短时间尺度上，它要求对小型、严配零件进行精确且富含接触的控制
2. 在长时间尺度上，它又要求在延展的动作序列中具备恢复能力与协调能力

示教、任务分解以及稠密的进度奖励通过提供"如何装配"的指导，推动了相关研究的进展。但究竟需要在多大程度上显式指定装配策略？

从 AlphaGo到 AlphaGo Zero 的演进表明，大规模强化学习无需指定"如何取胜"，也能发现超越人类的策略

1. 对此，AlphaNIST 提出的问题是：一个稀疏的二元任务奖励，以及由这种任务无关（task-agnostic）奖励所容纳的任务多样性，能否同样让机器人自己发现"如何装配"

2. 在仿真中，作者从零开始，在NIST 装配任务板 的全部 20 个装配任务上训练单一策略，在没有示教、进度塑形（progress shaping）、脚本化技能单元（scripted primitives）或逐任务调参的前提下，达到了 98.2% 的总体训练成功率

   该框架还可训练策略在单个 episode 内完成十对装配任务对，且不规定完成顺序，只有当十对全部同时完成时才给予任务成功奖励
   最终，作者宣称，学习到的策略能够自主涌现出灵巧且类似规划的行为：选择有利于后续装配的抓取方式，利用周围几何结构重新定向零件，先预处理一件零件、装配另一件，再回到第一件继续完成装配，而这一切都在没有显式规划器的情况下实现

第一部分 AlphaNIST: Emergent Assembly Skills from Binary Task Rewards

1.1 引言与相关工作

1.1.1 引言

机器人装配长期以来一直是一个具有挑战性的问题，而NIST 装配任务板（Assembly Task Boards）则是一项被持续使用的基准 1；据作者所知，目前尚无基于学习的方法在任何一块任务板上完成全部任务

装配任务板 1号（Assembly Task Board ，简称 ATB1）由 20 个装配配对任务组成(一个零件及其在任务板上的固定配合几何)，这些任务与制造场景密切相关，包括插销装配、齿轮啮合、电气连接器插拔以及螺母旋合

由于以下三个方面的原因，求解该任务板具有极高的挑战性，主要原因如下：

1. 解任务的顺序可能未被事先指定，而且并非所有任务序列都是高效或有效的（例如，先完成任务 N 可能会阻碍机器人接近任务N+1 所需的零件）

2. 每个任务都是长时域任务，涵盖抓取、搬运以及富接触装配2
   零件初始姿态可能高度多样，在抓取前往往需要多次重新定向；
   在搬运过程中，零件可能还需要通过手内重定向或借助外在接触进行进一步的重新定向；
   在装配过程中，零件在插装或旋合时可能发生滑移、错位或卡滞2，从而需要稳健的恢复与重新执行

3. 解决这些任务需要在复杂接触交互过程中实现高精度控制
   零件本身尺寸较小（直径可小至 4 mm），具有高度几何细节（例如螺旋螺纹），并且在配合表面之间具有极小的间隙（可低至零间隙）

   诸如螺母旋合之类的任务涉及在多个配合表面之间的摩擦接触下学习螺旋运动，在此过程中，螺母可能发生倾斜、乱扣或卡死，而不是沿着螺栓前进2

无需学习的方法通常依赖于规划和强烈的人类先验知识：装配顺序规划 3；定制夹具、适配器和工装1，4；设计好的运动和力的基本动作模块 5；以及经过调参的导纳、阻抗或力-运动控制器 4，5

另一方面，基于学习的方法可以放宽上述部分约束，但目前仅在有限范围内取得了进展。多数工作假设装配顺序是固定的，对零件的初始位姿施加了严格限制（例如，假定一开始就已经被抓取）6，假定可以获得精确的位姿估计，学习的是专门化策略而非多任务策略 2，只解决了装配板上任务的一个子集*6，和/或仅达到了较低的中等的成功率。例如，Success-Guided Sampling（SGS）7 是逐个任务地求解，但每个任务都需要单独的策略，而且计算效率要低得多*

作者从强化学习领域具有里程碑意义的 AlphaGo 系列工作中汲取灵感，该系列系统曾战胜过最强的人类围棋选手。从 AlphaGo 到 AlphaGo Zero 的演进表明，仅从终端任务目标进行学习，就可以在没有人类示范的情况下，激发在长时间尺度上具备超人水准的决策能力 8, 9

1. 在本文中，作者提出一个问题：在机器人领域是否也可以采用类似的方法？
   也就是说，仅利用稀疏的二元任务奖励，并结合适当的训练策略，是否能够让机器人解决一系列具有长时间跨度、富含接触互动的操作任务，并且可能借此涌现出人类既无法可行地精确指定、也难以示范的灵巧行为？
2. 为了使基于稀疏任务奖励的学习更易处理，作者采取了一步看似反直觉的做法：在几何形状、公差以及装配要求各不相同的异构装配对(例如螺母与其螺栓、齿轮与其齿轮轴、榫头与其孔洞)之间进行联合训练，并从广泛覆盖的初始状态分布出发，将 MDP的多样性从负担转化为资源

受这一洞见的启发，来自的研究者提出了 AlphaNIST，这一学习框架在 NIST Assembly Task Board 1（图 2）上的全部 20 个任务上，基于稀疏的二元任务奖励训练单一策略。该策略能够处理异常广泛的初始零件姿态，无需先训练专用策略，即可直接从点云输入中学习，并取得了 98.2% 的整体成功率

此外，该框架还能训练策略按顺序完成 10 对装配任务，且仅在所有配对在无预定顺序约束的情况下全部装配完成后才发放任务奖励。换言之，该策略展现出了类似规划的行为

1.1.2 相关工作

// 待更

1.2 AlphaNIST的完整方法论

1.2.0 任务定义与 MDP

作者将全部 20 个 ATB1 装配任务 1 表述为一个使用单一共享策略的多任务强化学习问题 。记某个装配任务为，其中。每个任务对应一对装配件：一个可移动零件、其配合几何结构，以及一个完全装配好的构型

作者将该问题建模为一个有限时域的 MDP（马尔可夫决策过程）

其中，是转移核， 是在任务标识与初始状态上的联合分布。在每个 episode 开始时，。一个共享策略在模拟器状态 的部分观测 上运行，并最大化

任务的变化是通过 中的表面点云来表示的，而不是通过显式的离散任务标识符

1.2.1 AlphaNIST 训练框架

AlphaNIST 使用标准的 PPO 算法和针对装配完成的二元任务奖励，在全部 20 个装配任务上训练单一策略。其训练分布由来自 OmniReset 10 的多样化缓存重置状态与服从 beta 分布的成功引导采样（SGS）7 组合而成，同时通过一个统一的二元任务奖励在所有任务上定义装配是否成功。这三个组成部分各自发挥不同的作用：

1. 重置库：哪些状态是可用的？
2. Beta 抽样：会从哪些状态中进行抽样？
3. 二元任务回报：什么被视为成功？

1.2.2 重置覆盖率与经验分配

1. 作者将 OmniReset 10 适配到异构装配场景中，通过将装配标识与每个重置状态一起缓存：

   

   其中，M 表示 20 个装配体中所有条目的总数。装配标识符 用于选择零件和配合几何资源及其惯性属性，而 则用来指定机器人、工位以及可动零件的状态

2. 因此，对一个条目的采样会同时选定装配体及其初始配置。缓存库覆盖了未抓取工作空间、取件、搬运、近配合以及部分装配等多种构型（图 4），从而支持基于 GPU 的并行初始化

   这些复位族群界定的是训练分布中的若干区域，而不是一条预先规定的序列；策略不会接收到任何阶段标识符

3. 设 为在最近的 个从条目初始化的回合中得到的经验成功率。在 Beta 采样下，条目 以概率 被选中：

   

   在整个库上进行归一化。采样 i∼Cat(q) 会选择一个装配--重置（assembly--reset）对，其满足
   该核函数偏好中等成功率，而 则保证每个条目都可被采样

   每一轮（episode）的结果都会用于更新其被采样条目的 。均匀消融（uniformablation）将 设为 ；库、策略、奖励以及优化器保持不变

算法 1 对训练过程进行了总结

1.2.3 二值完全装配目标

在各种几何结构中，装配的目标都是相同的：完成装配。对于每个实例，使用装配相对坐标 ，其中，来参数化零件在配合坐标系中的位置，表示其完全装配后的姿态。设 为零件当前相对姿态与 之间的距离

对于单对装配任务，二元任务奖励为

其中。成功奖励只发放一次，且此时该轮试验（episode）终止。在中间过程中的进展不会获得任务奖励。作者在二元任务奖励的基础上补充了控制成本，用于抑制过大的动作幅度、过快的关节运动以及过高的关节力矩。这样的正则化会将学习过程偏向于更平滑、能耗更低的行为，从而更适合在真实机器人上的安全部署，但并不会提供关于装配进度的额外信息

在这里，、 和 分别表示动作、机器人关节速度以及施加的关节力矩。控制惩罚在每一个时间步都会进行评估，并且使用在所有任务中固定不变的单一系数 c。这些惩罚项并不衡量装配进度；装配进度由二元任务奖励来表示是否完成装配

一个回合会在装配成功、到达时间范围 T，或当任一机械臂关节超过其硬件规定的速度或力矩上限时结束。在多配对回合中，成功奖励++在所有当前激活的配对全部装配完成之前始终为零++，不规定装配配对的顺序，也没有中间阶段的部分完成奖励

1.2.4 共享策略和机器人控制

作者在具有 GPU 并行环境的 Isaac Lab 11 中实现AlphaNIST。每个 PPO 批次将根据公式 (4) 采样得到的装配--复位对的 rollout 进行组合

1. 策略、奖励、控制器以及训练配置在全部 20 个任务之间共享。策略在没有离散任务标识符的情况下，只观察机器人状态，以及可动部件、配合几何体和机器人表面的点云
2. 且作者使用独立的 actor 和 critic SimBa 网络 27, 28，如图 3 所示进行总结。每个网络都将点云嵌入与图中所示的本体感知信息和上一时刻动作进行融合

在仿真中使用了一台 7 自由度的 Franka Emika Panda机械臂，其惯性参数和传动系统参数均已辨识，并配备了一个并联夹爪，其中一侧手指由驱动器直接驱动，另一侧手指通过机械结构被动联动

1. 在 25 Hz 的控制频率下，策略输出一个 7 维的相对关节位置目标（），以及一个 1 维的夹爪控制命令。一个隐式阻抗控制器使用厂家提供的 libfranka 刚度和阻尼配置文件，并匹配真实硬件的电枢和关节摩擦特性

   关节速度上限为关节1--4 的 2.175 rad/s 和关节 5--7 的 2.61 rad/s；力矩上限为87 N 和 12 N·m

2. 这些约束将动作限制在符合硬件实际能力的范围内，防止策略利用不现实的速度或扭矩。类似的、与硬件对齐的仿真已经使装配策略成功迁移到同一款 Franka Panda 平台上 20, 29

// 待更