摘要：灵巧操作一直是机器人领域的一大长期挑战。尽管机器学习技术已展现出一定潜力，但目前相关成果在很大程度上仍局限于仿真环境。这主要是由于缺乏合适的硬件设备。本文提出了一款面向机器学习研究的低成本、灵巧且拟人化的手部 ------LEAP Hand。与以往的手部相比，LEAP Hand采用了新颖的运动学结构，无论手指处于何种姿态，都能实现最大程度的灵活性。LEAP Hand成本低廉，仅需2000美元，使用易于获取的零件，在4小时内即可完成组装。它能够在较长时间内稳定输出较大扭矩。我们通过实验表明，LEAP Hand可用于完成现实世界中的多项操作任务，包括视觉遥操作、从被动视频数据中学习以及"仿真到现实"的任务执行。在所有实验中，LEAP Hand的性能显著优于与其最接近的竞品------Allegro Hand，而成本仅为后者的1/8。
原文作者：Kenneth Shaw，Ananye Agarwal，Deepak Pathak原文标题：LEAP Hand: Low-Cost, Efficient, and Anthropomorphic Hand for Robot Learning编译：智子、AutoGo01简介在人类认知发展过程中，手部的灵活性至关重要，它支持人类进行主动操作、使用工具，并影响着人类对世界的学习方式。用机器人手复刻人类手部的灵活性，一直是机器人领域的长期挑战。近年来，机器学习技术在从人类身上学习等领域展现出潜力。然而，与机器人在多样化地形中运动学习所取得的成功不同，现实世界中机器人操作的成果大多局限于单自由度的平行夹爪。相比之下，灵巧操作在很大程度上仍局限于仿真环境，现实世界中的相关成果则相对较少。推动灵巧操作普及的一个主要瓶颈在于硬件。像Shadow Hand这类基于肌腱驱动的手部，虽然性能出色，但成本超过10万美元，且由于结构复杂，通常需要大量维护。Inmoov Hand虽然价格低廉且开源，但仅配备5个基于脆弱肌腱的驱动器。因此，直接驱动式手部成为了许多应用场景中的热门选择。Allegro Hand是一款广泛使用的直接驱动式手部，但它往往存在可靠性低、维修难度大的问题，且不具备拟人化的运动学结构（见图2），成本还超过1.6万美元。更多相关分析请参见第2节内容。
图1:（a）LEAP Hand是一款为机器人学习研究设计的拟人化灵巧机器人手。它的组装时间不到4小时，成本为2000美元，由易于获取的零件组成，且具备较强的耐用性。（b）LEAP Hand与人类手部的等比例对比。（c-h）LEAP Hand以不同的强力抓握和精准抓握方式握住常见物体。该手部的设计方案和代码将开源，以推动拟人化灵巧操作硬件的普及
图2：主流机器人手的等比例尺寸对比。从左到右依次为：成人手、Allegro Hand、LEAP-C Hand、LEAP Hand、Inmoov、D'Manus。LEAP Hand的尺寸与Allegro Hand相近，比人类手部大约30%。D'Manus手的尺寸远大于其他几款手部。由于采用肌腱驱动结构，Inmoov Hand是其中尺寸最小的机器人手。图中所有手部的尺寸比例均准确无误
因此，目前只有少数实验室能够获取可完成复杂灵巧任务的硬件设备。这与两指抓握或机器人运动领域形成了鲜明对比------在这些领域，易于获取的硬件使得研究成果能够被学术界轻松复现和改进。以此类推，一款适用于机器学习的优质手部硬件必须具备耐用性、可重复性、低成本、多功能性，且理想情况下应具备拟人化特征，以便于从人类身上进行迁移学习。我们提出的LEAP Hand，是一款用于机器人学习的灵巧、低成本且耐用的手部，其零件要么是现成可购买的，要么可通过3D打印制作。这款手部的组装时间不到4小时，成本为2000美元，仅为Allegro Hand成本的1/8、Shadow Hand成本的1/50。尽管我们承认，对于所有人而言，这个成本可能仍不够亲民，但我们相信，这是朝着推动灵巧操作研究普及迈出的重要一步。通过一系列严谨的实验，我们证明LEAP Hand不仅耐用、可靠，还能在长时间内输出较大扭矩。此外，只需一台价值250美元的标准3D打印机，就能在实验室内部轻松维修这款机器人手，无需将其送往外部进行维修。尽管耐用性和低成本至关重要，但不能以牺牲灵活性和拟人化特征为代价。我们认为，一款性能优良的多功能手部应同时具备灵活性和拟人化特征，因为我们周围的许多事物，如门、厨房设备、工具或仪器等，都是按照人类手部的使用需求设计的，这使得通过观察人类的动作来学习操作变得更加容易。在LEAP Hand的设计中，我们力求在运动学上与人类手部相似的同时，实现最大程度的灵活性。由于直接驱动式手部无法复刻人类指关节（掌指关节，简称MCP）处的球关节结构，因此必须使用两个独立的电机来近似模拟该结构。以往直接驱动式手部的研究主要形成了两种设计方案（见图3）：一种允许手指在手部张开姿态下进行外展 - 内收运动，另一种则仅允许手指在向上弯曲的姿态下进行该运动。然而，这两种设计方案都存在一个问题 ------ 在手指弯曲或伸展姿态下，会损失一个自由度（DoF）。
在 LEAP Hand中，我们提出了一种新的运动学机制，为直接驱动式手部实现通用的外展 - 内收运动提供支持，确保手指在任何位置都能保持所有自由度。我们通过实验证明，这种设计能提升手部的灵活性，进而改善抓握和在手操作的性能。图3：不同机器人手的掌指关节（MCP）及其在两种不同姿态下的灵活性对比（A）LEAP-C Hand在伸展姿态下运动范围较大，但在弯曲姿态下运动范围较小；（B）LEAP Hand无论在弯曲姿态还是伸展姿态下，指尖都具有较大的运动范围；（C）Allegro Hand在弯曲姿态下运动范围较大，但在伸展姿态下运动范围较小
最后，我们还证明LEAP Hand能够轻松融入现有的机器人学习成果中。例如，基于视频的遥操作学习和行为克隆技术。除了实体机器人硬件外，我们还发布了一个与Isaac Gym兼容的LEAP Hand仿真器，并展示了在"仿真到现实"任务中，完成立方体盲在手旋转这一接触密集型任务的过程。这一成果表明，该硬件与仿真模型具有较高的准确性，在仿真环境中训练的复杂任务可迁移到真实的手部上执行。
02相关工作Shadow Hand和ADROIT Hand为实现具备拟人化球关节MCP的复杂、接触密集型灵巧任务奠定了基础。然而，这些手部成本高昂（10万美元），且需要持续维护。与之不同的是，Inmoov Hand采用3D打印技术制作，基于肌腱驱动，具有类人特征。但它每个手指仅有一个自由度，且依赖肌腱驱动，校准难度大，精度较低。Bauer等人提出了一种基于柔性肌腱驱动的手部，该手部在多种构型下都具有良好的灵活性。但遗憾的是，由于其具有可变形特性，很难对其进行仿真。与将电机安装在手腕处的肌腱驱动式手部不同，Allegro Hand将电机安装在手指关节处。由于成本相对较低（1.6万美元），它在研究实验室中得到了广泛应用。然而，用户发现其手指处的电机在执行许多日常任务时动力不足。此外，其闭源组件的维修和更换难度较大。而且，正如我们所证明的，它的运动学结构既不具备拟人化特征，灵活性也欠佳。ROBEL套件（包含D'Manus Hand）的耐用性更强、开源且易于组装。但它只有两个手指和一个拇指，与人类手部的结构差异较大。Yuan等人通过在手指上安装滚轮，实现了在手操作。而人类手部并不具备这种自由度，人类操作物体的方式与该设计截然不同。有研究采用流体和线性驱动器驱动手指运动，并取得了令人瞩目的成果，展现出巨大潜力，但这些手部不仅难以获取，而且制作、使用和维护过程都极为复杂，不适合用于机器人学习研究。快速制造传统上，人们会采用铝合金加工技术制作高强度零件，但这种方法难度大、成本高。塑料零件的制造过程则包括繁琐的模具制作、铸造、固化和支撑去除等步骤。相比之下，增材制造技术（3D打印）可快速制作零件，非常适合原型开发。在本文中，我们借助开源Reprap社区在挤出机、热端和电机方面的最新技术成果，直接使用如Ninjaflex这类柔性filament材料进行3D打印，制作LEAP Hand的许多零件，例如坚硬的手掌和柔软的橡胶指尖。灵活性学习Andrychowicz等人利用Shadow Hand和"仿真到现实"技术，实现了对多种物体的在手旋转操作。在仿真环境中，还可以训练出适用于数千种物体的控制策略。有研究使用D'Hand手完成了阀门的重新定位任务。其他值得关注的灵巧操作成果包括：仅在现实世界中训练Shadow Hand，实现保定球的在手旋转，以及使用D'Hand手完成管道插入任务。近期有多项研究聚焦于机器人手控制策略的监督学习，这些研究以MANO参数为基础，该参数可对人类手部进行建模。与之密切相关的是基于实时视频的机器人手遥操作技术，这项技术可用于指导学习过程，提高样本效率。此外，还可以从网络视频中提取手部姿态信息，用于学习操作策略。利用互联网视频进行大规模预训练，有助于通过少量特定任务演示，高效训练机器人手完成下游任务，同时也适用于非灵巧操作任务。
03运动学设计与分析手部的运动学结构指的是其关节的布局方式，这种布局决定了手部能够实现的不同姿态和运动力。首先，LEAP Hand应尽可能具备拟人化特征，这样才能利用人类数据，通过机器学习获取操作技能。具体可通过VR手套遥操作或从人类手部视频中提取关键点等方法实现。此外，为了完成如"仿真到现实"在手操作这类任务，LEAP Hand还需具备良好的灵活性。在本节中，我们将介绍一款同时具备拟人化特征和灵活性的机器人手设计方案。在人类手部中，每个手指主要有四个自由度（见图4）。指关节（掌指关节，MCP）是一个球关节，具有两个自由度，可实现外展-内收和弯曲-伸展运动。靠近指关节的关节称为近节指间关节（PIP），靠近指尖的最后一个关节则是远节指间关节（DIP）。PIP关节和DIP关节均为铰链关节，各有一个自由度。人类手部的拇指具有对掌功能，能够与其他手指形成对向施力，从而实现多种强力抓握和精准抓握动作。为了便于进行运动映射，机器人手的关节结构必须与人类手部的关节结构具有相似性。图4：上图所示的人类手部运动学结构中，掌指关节（MCP）和腕掌关节（CMC）均为球关节。对于低成本手部而言，这类关节难以复刻。图中还对比了不同机器人手的掌指关节（MCP）：（A）LEAP-C Hand在伸展姿态下运动范围较大，但在弯曲姿态下运动范围较小；（B）LEAP Hand无论在弯曲姿态还是伸展姿态下，指尖都具有较大的运动范围；（C）Allegro Hand在弯曲姿态下运动范围较大，但在伸展姿态下运动范围较小
要复刻人类手部的这种结构，采用类似Shadow Hand 的肌腱驱动方式似乎是一个不错的选择。这类肌腱驱动式手部可将驱动所需的大型电机安装在手腕处，从而为关节设计提供更大的灵活性，并可引入球关节结构。然而，这类手部成本极高（10万美元），结构复杂且维护难度大。因此，成本更低的直接驱动式手部成为了更受欢迎的选择。表 1：三款手部在手指向下、完全向上和半弯曲这三种不同姿态下，线性和角度方向的可操作性椭球体积对比。结果显示，LEAP Hand在这三种构型下均具有较大的可操作性椭球体积
3.1 通用外展-内收机制直接驱动式手部的电机必须安装在手指内部，这导致其运动学结构受到限制，无法精确模拟人类手部的结构。由于PIP关节和DIP关节均为铰链关节，因此建模相对容易，每个关节只需一个驱动器即可。而球关节无法采用这种方式建模，通常需要使用两个紧密排列的电机（MCP-1、MCP-2）来近似模拟。以往的重要研究提出了两种相关设计方案（见图3）。但无论是 Allegro Hand还是LEAP-C Hand，这两种设计方案都存在一个问题：在手部伸展或闭合姿态下，会损失一个自由度。因此，Allegro Hand在伸展姿态下灵活性较差，而 LEAP-C Hand则在闭合姿态下灵活性不足。LEAP-C Hand和 Allegro Hand之所以会出现灵活性损失的问题，根源在于负责外展 - 内收运动的电机（MCP-2）的轴线固定在手掌上。在LEAP-C手中，该轴线与手掌平面垂直；而在Allegro Hand中，该轴线则位于手掌平面内。因此，当手指与该轴线平行时，对应的自由度便无法发挥作用。更多细节请参见图3的运动学树。在LEAP Hand中，我们为手指设计了一种新的通用外展-内收机制，确保手指在掌指关节（MCP）的任何位置都能保持所有自由度。该设计的核心思路是：不再将MCP-2（负责外展-内收运动的电机）的轴线固定在手掌上，而是将其设置在第一个手指关节的坐标系中，并确保该轴线始终与第一个手指关节垂直。这样一来，手指在任何位置都能进行外展-内收运动（见图3）。因此，LEAP Hand既能够像LEAP-C Hand一样，在伸展姿态下进行外展-内收运动，又能够像Allegro Hand一样，在弯曲姿态下进行旋前-旋后运动。3.2 通过拇指对掌功能评估灵活性Chalon和Lee等人的研究表明，手部灵活性的高低不仅取决于外展 - 内收运动的范围，还与拇指对掌空间的大小有关。我们将LEAP Hand的设计方案与Allegro Hand以及LEAP-C手（一款与LEAP Hand采用相同电机和零件的基准手部）进行了对比测试。在图5中，我们绘制了每款手部拇指与其他手指工作空间的交集，并依据方法计算了拇指对掌度量。在表2中，我们指出，结合新设计的掌指关节（MCP），LEAP Hand在灵活性方面优于其他现有手部，这得益于其更大的对掌空间。图5:我们对比了三款手部中拇指与其他各手指的对掌位置可能性。结果表明，LEAP Hand在手掌上方的对掌位置分布更为均匀，且接触面积更大
接下来，灵活性还可通过manipulability（可操作性）来衡量，它表示在特定关节姿态下，指尖向各个方向运动的难易程度。我们采用Yoshikawa等人提出的度量方法进行评估。在评估过程中，许多研究通过末端执行器雅可比矩阵计算可操作性椭球，该矩阵可用于描述末端执行器能够运动的方向。我们使用以下公式计算该椭球的体积：其中，q代表关节构型，J代表末端执行器的雅可比矩阵。需要注意的是，由于我们计算的是体积，因此如果一只手只能在一两个笛卡尔方向上运动，那么在该姿态下，其可操作性椭球的体积将接近于零。我们对三款手部在三个关键姿态下的性能进行了测试，结果表明，无论是在笛卡尔方向还是角度方向上，LEAP Hand的雅可比矩阵对应的椭球体积始终更大。这意味着在这几个姿态下，LEAP Hand的指尖运动性能更优，可操作性度量值更高，灵活性也更强（见表2）。表2：不同手部的拇指与各手指对掌空间体积对比（单位：mm³）。通过随机采样25000种关节构型，记录拇指与其他手指接触的情况，并计算接触区域的体积
最后，我们还证明，灵活性的提升能带来实际的性能优势。在抓握测试（见第6.1节）中，我们发现LEAP Hand能够更紧密地抓握更多物体。在立方体盲在手旋转任务（见第6.4节）中，LEAP Hand旋转立方体的速度远快于Allegro Hand。
04手部设计原则一款优秀的运动学设计需要在硬件上有效实现。具体而言，硬件应具备低成本、易维修和耐用的特点。4.1 低成本与易维修性与机器人运动或两指夹爪操作不同，现实世界中的灵巧操作研究受到诸多限制，这在很大程度上是由于缺乏合适的灵巧手部硬件。目前常用的灵巧手部，如Shadow Hand和Allegro Hand，成本分别高达10万美元和1.6万美元，且一旦损坏，必须送回原厂维修。对于许多研究人员来说，这类硬件的成本过高或维护难度过大，导致只有少数研究人员能够开展现实世界中的灵巧操作研究。与之相反，在机器人运动和操作领域，由于存在价格低廉且性能可靠的硬件，大量研究人员能够在他人研究成果的基础上继续深入研究，推动该领域不断发展。因此，一款合适的手部应尽可能易于获取。这意味着它需要具备低成本和易维修的特点。在LEAP Hand的设计中，我们尽可能使用现成零件，其余零件则仅通过一台价值约200美元的普通3D打印机即可制作完成。此外，LEAP Hand的组装时间不到4小时。LEAP Hand采用模块化设计。这种设计使得机器人手的关键特征能够根据特定的学习任务或分析需求进行调整，例如手指的长度、数量以及手掌上各手指之间的间距等。同时，模块化设计也让手部的维修变得更加容易，所需更换的零件种类较少。4.2 耐用性无论是通过遥操作、行为克隆还是强化学习等方式对机器人手进行训练，硬件都会面临严苛的使用条件，尤其是当机器人手安装在机械臂上时。由于机械臂的运动，手部可能会反复与桌面以及待抓握的物体发生碰撞。因此，机器人手必须具备足够的耐用性，能够承受此类碰撞并持续可靠地工作。此外，机器人手还需能够输出较大的扭矩，这对于举起重物或使用电钻、锤子等重型工具至关重要。虽然3D打印技术具有快速、低成本的优势，但通过该技术制作的零件强度往往不足。另一种选择是定制金属加工零件，但这种方式会大幅增加成本，并且需要专业的技能和设备才能制作。因此，我们选择使用Robotis生产的价格低廉（10美元）、现成的专业挤压成型增强塑料支架，这类支架具有良好的耐磨性。我们仅使用商用3D打印机打印手掌和较小的导线导向垫片。LEAP Hand的关节设计强度超过了人类手部。我们为手部选择了高扭矩输出的电机，同时确保其关节运动速度能够达到类人水平（约8弧度/秒）。在手部的类人外形尺寸限制下，我们尽可能增加了手部内部电机的质量占比，并将其他部件的质量降至最低。这样的设计使得LEAP Hand在保持类人外形的同时，具备了足够的强度。由于这些电机的功率较大，我们在第5节中介绍了如何对其进行电流或扭矩限制，以实现对易碎物体的操作，并提高手部的耐用性。4.2.1 耐久性测试为测试手部在长时间使用下的强度性能，我们在其中一个指尖悬挂了一个2千克的重物。这种测试场景类似于人类用一根手指举着半加仑牛奶，且不借助手掌的支撑力。测试结果显示，LEAP Hand能够持续抓握该重物一小时，且角度误差极小。尽管在测试初期，电机的电流消耗略有上升，但随着电机温度趋于稳定，电流消耗也随之稳定下来，且电机始终保持较低温度。最上方电机的电流消耗达到250毫安，仍不到其最大允许电流的一半。而Allegro Hand的功率不足以完成这项测试。相关测试结果的图表请参见图7。4.2.2 重复性测试我们通过在一小时内持续进行抓握测试，对比了 LEAP Hand和 Allegro Hand的稳定性和精度（见图6）。测试过程中，我们将一个小型（25 克）毛绒骰子固定在手指上，通过控制手指根部的一个关节以 5 赫兹的频率上下运动，从而带动骰子上下移动。我们记录了关节的实际角度与期望角度之间的误差随时间变化的情况。图6:重复性测试。左图：LEAP-C Hand用一个关节对小型毛绒骰子进行重复抓握-松开动作，持续一小时。右图：LEAP-C Hand与Allegro Hand的性能对比。仅15分钟后，Allegro Hand便无法维持正常运动；而 LEAP Hand则能持续运动，且关节误差极小（<0.05弧度）
测试结果显示，LEAP Hand在手指向上姿态时的误差稳定在0.025弧度，在向下姿态时的误差为 0.005 弧度（见图6）。考虑到所使用的PID控制器和750毫安的电流限制，这样的误差水平是合理的。相比之下，Allegro Hand在测试开始时就存在较大误差，15分钟后开始出现故障，随后在每三次抓握动作中就有一次完全无法完成运动。这并非电机位置传感器故障导致，而是由于持续抓握使电机承受较大负荷，导致电机过热，无法输出所需的扭矩。图7:耐久性测试。我们将一个2千克的重物仅放在LEAP Hand的一个指尖上，保持平衡状态持续一小时。左轴显示，关节实际角度与期望角度之间的误差始终较小。右轴显示，电机电流消耗最初会随着电机温度的升高而上升，但手部仍能稳稳托住重物，且电流消耗不到其最大允许电流（600毫安）的一半
4.2.3 拉脱力测试该测试用于测量弯曲的手指在被钩状测力计拉脱前能够抵抗的瞬时外力大小。当电机或齿轮出现打滑，或者手指与期望位置的偏差超过15度时，即判定为测试失败（见图8）。测试得到的拉力大小与抓握强度相关。图8:拉脱力测试。对LEAP Hand施加拉脱力，记录手部出现15度误差或打滑前所能承受的最大拉力
表3对比了不同机器人手和人类手的拉力大小。D'Manus Hand由于配备了大型电机，因此拉力最大。在拟人化手部中，LEAP Hand的性能最为出色，其抓握强度超过了人类手部。Allegro Hand由于电机较小，拉力较弱，这也解释了为何它在许多抓握任务中表现欠佳。鲍尔等人设计的手部和 Inmoov Hand虽然采用肌腱驱动，能够将大型电机安装在手腕和手臂处，但在这项测试中的表现并未显著优于其他手部。我们发现，这些手部的肌腱经常出现打滑现象，导致末端执行器无法获得足够的力。表3：拉脱力测试结果。该测试对比了各手部抵抗拉脱力的能力，拉脱力的大小与抓握强度相关。功率密度指手部单位面积内电机的总输出力
05制作与软件5.1 制作首先，需要制作LEAP Hand的所有3D打印部件（见图1）。我们使用一台价值200美元的Ender 3 3D打印机，采用PLA塑料材料，耗时两天完成打印。当然，任何消费级的熔融沉积成型（FDM）3D打印机都能满足打印需求。打印完成后，我们会得到两个手掌部件、指尖部件和手指垫片部件。随后，我们将3D打印部件、挤压成型塑料支架、Dynamixel电机、U2D2控制器以及各种线缆收集齐全。接下来，使用支架、3D打印的手指垫片和电机组装各个手指。LEAP Hand的组装过程大约需要4小时。组装完成后，将每个手指安装到手掌上，并为其刷入控制固件。LEAP Hand通过USB线缆与计算机连接，支持通过ROS、Python或C++语言进行控制。这款四指LEAP Hand的重量为595克，可轻松安装在各种机械臂上。完整的组装视频教程可在我们的网站上查看。5.2 软件LEAP Hand支持多种控制模式，包括位置控制、电流控制、基于电流的位置控制和速度控制。位置控制模式下，手部能够产生扭矩，使电机达到期望位置，这是许多基于PID的控制器常用的控制方式。电流控制模式则允许向电机施加期望的扭矩。基于电流的位置控制模式结合了PID位置控制的特点，同时对最大电流和扭矩进行限制。这种控制模式不仅能使手部遵循位置指令，还能防止过大扭矩对机器人自身及周围环境造成损害。5.3 仿真我们在Pybullet平台上构建了LEAP Hand的详细3D组装模型（见图5），这使得任何人都能够通过3D打印制作出自己的 LEAP Hand版本。除硬件外，我们还发布了基于Isaac Gym和Pybullet的LEAP Hand仿真器。在第6.4节中，我们通过"仿真到现实"任务验证了该仿真器与现实世界的一致性。我们发布这个"仿真到现实"平台，旨在助力实验室开展LEAP Hand相关研究。
06LEAP Hand的应用首先，我们对所有手部在多种日常物体抓握测试中的性能进行了对比。接着，我们选取了两款最耐用、最接近人类手部结构的四指手部------LEAP Hand和Allegro Hand，在多种机器学习任务中对它们的性能进行了对比。基于人类视频的遥操作实验展示了LEAP Hand的抓握能力和类人外形优势。随后，借助互联网视频开展的实验证明了LEAP Hand具备从人类行为中学习的能力。最后，我们通过"仿真到现实"在手操作实验，证明了LEAP Hand的性能，同时也验证了仿真模型与硬件的精度。在这项任务中，LEAP Hand不仅能够以更快的速度旋转立方体，还能更好地抵抗外界干扰。6.1 基于遥操作的抓握测试我们对各款手部抓握不同类型物体的能力进行了对比测试。为了快速开展实验并确定合适的抓握姿态，我们使用Manus Meta VR手套对前三款手部进行精确的遥操作。由于D'Manus Hand的拟人化程度较低，无法通过人类动作进行遥操作，因此我们采用手动设置关键帧的方式对其进行控制。我们测试了每款手部能够完成的抓握类型，以及它们能够抵抗的最大干扰力（最高可达20牛）。当手部抓住物体后，我们用测力计对物体施加推力，直到物体滑落或测力计的示数达到20牛为止。由于Inmoov Hand过于脆弱，无法承受遥操作和干扰力测试，因此我们仅测试了它能否稳定抓住物体，并将结果记录在表格中。表4：遥操作性能对比（LEAP Hand与Allegro Hand）。表中数据为经过训练的操作人员完成各项遥操作任务的成功率和平均完成时间。在10项任务中，LEAP Hand的性能优于或与Allegro Hand相当的任务有9项
表5：各机器人手对不同物体的抓握测试结果。测试内容包括抓握类型以及手部能够抵抗的干扰力（单位：牛）。LEAP Hand的灵巧结构和强劲电机使其能够完成香烟式抓握和平掌托举抓握等动作
表5显示，LEAP Hand能够抓住所有测试物体，并能完成多种强力抓握和精准抓握动作。尽管 LEAP Hand和LEAP-C Hand的整体表现相近，但LEAP-C Hand的抓握力度相对较弱，这是因为其掌指关节（MCP）侧的电机无法用于调整抓握力度。Allegro Hand的电机功率明显较弱，导致高尔夫球、足球等物体容易从其手中滑落。此外，由于其运动学结构限制，在伸展姿态下无法进行外展 - 内收运动，因此无法完成筷子的三脚架抓握、木质圆柱体的香烟式抓握以及酒杯的平掌托举抓握动作。D'Manus Hand能够对较大物体进行强度极高的强力抓握，但由于缺乏对掌功能，且无法对物体四周施加均匀的抵抗力，其抓握性能受到影响。同时，较大的尺寸使得它无法抓住较小的物体。6.2 基于未校准人类视频的遥操作遥操作技术能够借助人类的反馈，对高自由度机器人进行实时控制。同时，该技术也是收集演示数据的有效方法。由于Allegro Hand的结构缺乏类人掌指关节（MCP），我们不得不采用Robotic Telekinesis技术中的人机运动重定向方法（见图9左图）。该方法通过手动定义机器人手部和人类手部的手掌与指尖之间的关键向量（分别记为vi r和vi h ）来实现运动映射。这些向量定义了一个能量函数Eπ，用于最小化人类手部姿态（由参数(βh, θh)表示）与机器人手部姿态 q 之间的距离，并通过ci进行缩放，具体公式如下：通过训练一个多层感知器（MLP）HR(.)，间接最小化公式（1）所描述的能量函数。图9: 遥操作与行为克隆。左图：我们使用Telekinesis技术，通过单视角彩色相机实现灵巧遥操作。右图：我们利用Videodex技术，基于互联网视频和遥操作演示进行行为克隆
由于LEAP Hand的关节结构与人类手部相似，我们能够直接将人类手部的关节角度映射到LEAP Hand上。从表4中可以看出，在10项遥操作任务中，LEAP Hand有9项任务的表现优于Allegro Hand。得益于更优的结构设计、更高的精度以及对人类手部动作的良好响应性，LEAP Hand的操控难度更低。正如研究人员所提到的，采用能量函数对机器人手进行遥操作具有一定难度。此外，LEAP Hand更出色的对掌功能和更强的抓握力，使其能够稳定抓住那些Allegro Hand难以抓握的物体。与Allegro Hand不同，LEAP Hand无需中途暂停以避免电机过热，能够持续稳定地工作。6.3 基于演示的行为克隆行为克隆技术使智能体能够通过演示数据学习特定任务的控制策略。然而，收集行为克隆所需的演示数据成本较高。我们利用Epic-Kitchens数据集中的视频，结合Videodex技术和NDP技术，对控制策略进行预训练（见图9右图）。同时，我们仅使用基于Allegro Hand收集的演示数据，并将其映射到LEAP Hand上。从表6中可以看出，在任务性能方面，LEAP Hand的表现依然优于Allegro Hand。这主要得益于LEAP Hand在完成任务过程中的稳定性和强大的抓握力。表6：基于Videodex技术的视频学习结果。手部控制策略首先在互联网人类视频上进行预训练，然后使用少量（约100次）遥操作演示进行微调。在这些实际应用场景中，在14个"{task}×{train, test}" 组合中，LEAP Hand有12个组合的表现更优
6.4 "仿真到现实"的在手操作我们开展了立方体绕垂直于手掌轴线的在手旋转实验。LEAP Hand能够反馈关节的当前位置、速度和扭矩信息，并且支持通过扭矩或位置指令进行控制。在本实验中，机器人仅通过观察关节角度的历史数据来推断物体的姿态。由于该任务涉及大量接触交互，且控制策略无法直接观测立方体的姿态，因此具有较高的挑战性。控制策略以20赫兹的频率接收来自电机的关节角度数据（16个数值），并输出目标关节角度数据（16个数值），这些目标角度数据将作为位置指令发送给电机。我们为控制策略选择了门控循环单元（GRU）架构。首先，我们参照的方法生成了一组稳定的抓握姿态数据。随后，控制策略根据立方体的旋转情况获得奖励，奖励函数定义为rrot = clip(ωz, −0.25, 0.25)，其中ωz是立方体绕垂直轴的角速度。同时，我们还设置了多项惩罚项，包括偏离稳定抓握姿态的惩罚、机械功消耗的惩罚、电机扭矩过大的惩罚以及物体线速度过大的惩罚。旋转奖励的权重为1.25，各项惩罚项的权重分别为- 0.1、-1、-0.1和- 0.3。我们在Isaac Gym平台上，采用带有回溯传播时间（BPPT）的近端策略优化（PPO）算法对控制策略进行训练。在仿真环境中，我们对比了不同手部旋转立方体的平均角速度。结果显示，LEAP Hand的旋转速度快于Allegro Hand（见表7）。这是因为LEAP Hand的关节结构能够从侧面稳定支撑立方体，而Allegro Hand由于缺乏外展 - 内收自由度，必须定期松开立方体才能调整其姿态。表7：仿真环境中立方体盲在手旋转的角速度对比（单位：弧度/秒）。由于Allegro Hand在伸展姿态下缺乏外展-内收自由度，其角速度较低；而LEAP Hand和LEAP-C Hand具备该自由度，因此表现更优
图10:"仿真到现实"迁移。左图：在Isaac Gym仿真环境中，LEAP Hand完成在手操作任务。右图：LEAP Hand在现实世界中完成相同任务
07结论与未来工作本文介绍了LEAP Hand及其核心设计原则。通过实验验证，我们证明在强度、抓握性能和耐用性方面，LEAP Hand的表现远超市场上的其他手部。同时，我们还展示了LEAP Hand在现实世界多种任务中的应用价值，包括遥操作、行为克隆和 "仿真到现实" 任务。我们开源了URDF模型、3D CAD文件以及带有实用API的开发平台。在未来的工作中，我们计划开发低成本触觉传感器，并将其与LEAP Hand集成。