实现人类水平的灵活性需要精确、低延迟的机器人控制。通过整合MANUS Quantum Metagloves和Meta Quest 3，ByteDexter系统能够实现20自由度连杆驱动的拟人机器人手的实时遥控操作。该系统实现了精确的捏夹、稳定的力量抓握和实时手动操作，为灵巧机器人、遥操作和具体化人工智能研究提供了高质量的演示数据。
机器人灵活性的挑战
机器人的灵巧性很难实现，因为机器人面临两个关键挑战：硬件限制和人与机器人运动之间的差异性。
1. 硬件限制
制造一只能像人手一样移动的机器手远非易事。不同的设计方法各有利弊：
|--------|-------------------------------------------------------------|
| 直接电机驱动 | 简单但笨重 难以小型化 |
| 肌腱驱动 | 高度仿生 电缆容易磨损，需要复杂的维护 致动器通常放置在前臂上，使集成变得复杂 |
| 联动驱动 | 紧凑、耐用且易于维护 驱动器安装在手掌内部 是高自由度灵巧手的理想选择，但由于耦合运动和有限的空间，拇指设计极具挑战性 |
ByteDexter通过混合设计解决了这些问题：
四个手指使用紧凑的并行-串行连接结构。
拇指采用了一种新设计的机制，具有三个驱动4自由度的致动器，能够在弯曲、伸展和外展之间实现去耦的类似人类手部运动。
该系统由用于实时控制的微秒级运动学解算器支持。
2. 运动映射失真
人手和机器人手在关节类型、运动范围和几何比例方面有所不同。这些不匹配会导致复杂任务的失真，如捏、多指协调和手动操作。传统的指尖IK和关键点匹配方法难以保持人类运动的高保真再现。
高保真灵巧控制的集成遥操作体系结构
ByteDexter将硬件和软件结合成一个紧密结合的高性能遥操作系统。
l 20自由度拟人机器人手
l 优化的运动重定向算法
l MANUS手套的高保真传感器输入
l 通过Meta Quest跟踪进行实时arm映射
操作员的手指运动被转化为ByteDexter手的关节命令，而Quest控制器则提供连续的手腕姿势输入。然后，FR3手臂和ByteDexter手实时再现操作员的动作，创建一个自然的全手控制界面。
基于关键向量的运动重定向
ByteDexter不是直接映射关节角度或指尖位置，而是使用keyvectors，即表示手部关键点之间空间关系的几何向量。
手指捕捉：
手指到指尖的几何学
手指间的空间关系
拇指-手指协调信号
自适应加权策略优先考虑用于精确拇指食指或拇指中指控制的捏合相关向量、用于减少碰撞的分离向量以及用于连续稳定运动的平滑项。这个框架有效地协调了人手和机器手掌的差异，并保持了协调的灵巧动作。
结果
该系统提供更紧密、更稳定的捏握动作，准确再现拇指与手指的协调运动，并显著减少意外碰撞。它支持灵巧的手动操作，包括平滑捏合到抓握的转换，双对象处理，通过推动或控制旋转打开盖子，以及其他协调的多自由度动作。
该图比较了ByteDexter的重定目标方法(红色)和基线方法DexPilot(蓝色)在捏取任务期间的指尖距离跟踪性能。ByteDexter的重定目标功能可以产生更真实跟随人类手指运动的指尖轨迹，从而实现更准确、更稳定的挤压。
专为远程操作、数据收集和嵌入人工智能而打造
MANUS数据手套和连杆驱动的ByteDexter灵巧手组合使得该系统能够可靠地复制人手运动，保持协调的手臂控制，执行连续的多步任务，并有效地操纵现实世界中的各种物体。该平台非常适合远程操作、高质量的数据收集、模仿学习和嵌入AI的开发流程。