使用MANUS手套在NVIDIA Isaac实验室内远程操作22自由度灵巧手

在仿真软件中收集高质量的灵巧操作数据要求输入设备能够真实地捕捉人手运动的全部动作。MANUS手套,现在原生集成到英伟达NVIDIA Isaac实验室2.3版本中,以直接解决该需求。在演示中,操作员使用MANUS手套远程操作Sharpa Wave,这是NVIDIA Isaac Lab内的一个22自由度灵巧机械手,将自然的手部运动转化为毫米级保真度的实时机器人关节控制。

‍

灵巧操作中的数据质量瓶颈

模拟优先的机器人策略培训具有成本更低、迭代更快、部署管道更安全等优势。然而,经过培训的政策的质量受到演示数据质量的限制。对于需要高度协调的多手指控制的灵巧操作任务,大多数遥操作输入设备达不到要求。基于视觉的手部跟踪会带来遮挡误差和延迟,而低自由度控制器无法捕捉复杂操作任务所需的细微手指运动。

从人手到机器人的直接训练

MANUS手套旨在以毫米级的精度捕捉手部运动的全范围,在长时间的操作过程中保持稳定,没有漂移。NVIDIA Isaac Lab 2.3提供了原生支持,它将高保真手部跟踪数据直接传输到仿真中,消除了通常会降低数据收集管道速度的设置。

在用例中,操作员佩戴MANUS手套在Isaac Lab里遥控1:1拟人化的22自由度机器人Sharpa Wave。手部配置直接映射到机器人关节位置,以创建一个跟符合人类运动学的远程操作界面。

录制的数据被直接输入到Isaac Lab Mimic进行增强和等比例缩放,然后输入到模仿学习管道,这些过程都在将优先在模拟中进行,然后再进行实际部署。

操纵策略所依赖的精度

MANUS数据手套能实时捕捉手掌和每一根手指细微动作,提供灵巧操作研究所需的精确、稳定、无遮挡的手部跟踪数据,可原生集成到NVIDIA Isaac实验室工作流程中。

相关推荐
世冠科技14 小时前
世冠科技GCEAgent重磅发布,开启复杂装备AI原生智能研发新范式
人工智能·科技·ai-native
飞猫的边缘AI5 天前
SoC和SoC FPGA的野心与市场渗透
人工智能·科技·soc芯片·边缘ai
云南新人和数采集团6 天前
云南靠谱软件开发公司选型指南:以昆明新腾科技为例
大数据·人工智能·科技
AI算力6 天前
私有云时代来临:AI NAS如何重塑你的数字生活?
人工智能·科技·ai·生活·nas·ai算力·ainas
观察世界9 天前
字节 Seed 发布 Seedream 5.5:同一张图可编辑 100 轮,严重文字损坏率降至 0.4%
科技·ai
观察世界12 天前
前沿模型论坛发布越狱评级框架:给网络安全类越狱分等级,决定先修哪个
科技
昂永科技|非标件自动报价系统12 天前
# 昂永(上海)科技非标件自动核价系统落地无锡先导,助力制造核价数字化
大数据·科技·制造
行者无疆_ty13 天前
王兴兴:宇树未来将重点攻克机器人大脑——从「四肢发达」到「头脑不简单」,具身智能的临界点到了吗?
科技·热点追踪
硅谷秋水13 天前
面向科学的科学AI智能体:任务、架构、评估与挑战综述
人工智能·科技·语言模型
被放养的研究生13 天前
第五章 信息安全及信息科技风险管理
科技·金融监管计算机类