研究案例:英伟达研究中心,华盛顿大学——TacSL:使用Franka机器人的视觉触觉传感器模拟和学习库

TacSL:使用Franka机器人的视觉触觉传感器模拟和学习库

英伟达研究中心,华盛顿大学

原文:https://iakinola23.github.io/tacsl/

PNP Robotics集智联机器人是思灵机器人和德国 Franka Robotics GmbH中国区金牌战略合作伙伴,负责Frank Robotics在中国区域的关于Franka机器人的销售、渠道拓展、技术支持等工作。

对于人类和机器人来说,触觉(称为触觉感知)对于执行接触丰富的操作任务至关重要。**在使用FRANKA机器人过程中触觉感知的三个关键挑战是 1) 解释传感器信号,2) 在新场景中预测传感器信号,以及 3) 学习基于传感器的策略。**对于视觉触觉传感器,由于其与视觉传感器(例如 RGB 相机)的密切关系,解释变得更容易。然而,预测仍然很困难,因为视觉触觉传感器通常涉及接触、变形、照明和成像,所有这些都是昂贵的模拟;反过来,策略学习一直具有挑战性,因为模拟不能用于大规模数据收集。

英伟达推出了TacSL ( taxel ),这是一个基于 GPU 的视觉触觉传感器模拟和学习库。TacSL 可用于模拟视觉触觉图像并提取接触力分布,速度比之前最先进的技术快 200 倍以上,所有这些都在广泛使用的 Isaac Gym 模拟器中完成。此外,TacSL还提供了一个学习工具包*,* 其中包含多个传感器模型、接触密集型训练环境和在线/离线算法,可促进模拟到真实应用的策略学习,形成了使用Franka机器人的视觉触觉传感器模拟和学习库

在算法方面,引入了一种名为非对称演员-评论家蒸馏 (AACD) 的新型在线强化学习算法,旨在有效且高效地学习基于触觉的模拟策略,并将其迁移到现实世界。最后,我们通过评估蒸馏和多模态传感对接触丰富的FRANKA机器人操作任务的好处,以及最关键的执行模拟到现实的迁移,展示了我们的库和算法的实用性

关于Franka RoboticsFR3

Franka Robotics FR3机器人是一个具备高精度和灵活性的协作机器人(Cobot),其设计旨在模拟人类手臂的功能。

1. 基本参数
  • 自由度(DOF):7个关节轴。

  • 负载能力:3公斤。

  • 工作半径:855毫米。

  • 重量:18公斤。

  • 控制系统:基于x86的PC控制器。

2. 传感器和安全系统
  • 力传感器:每个关节都配备有力传感器,能够实时检测施加的力,从而确保机器人能够与人安全互动。

  • 碰撞检测:内置碰撞检测机制,能在感知到异常力时立即停止运动。

  • 位置传感器:高精度的编码器提供准确的位置反馈。

3. 编程和控制
  • 编程语言:支持多种编程环境,如Python、C++、ROS(Robot Operating System)、Matlab、Simulink。

  • 用户界面:直观的用户界面,支持拖放式编程,便于无编程经验的用户使用。

  • 网络连接:通过Wi-Fi或以太网进行远程监控和控制。

Franka Robotics FR3机器人

相关推荐
空中湖1 小时前
tensorflow武林志第二卷第九章:玄功九转
人工智能·python·tensorflow
lishaoan771 小时前
使用tensorflow的线性回归的例子(七)
人工智能·tensorflow·线性回归
千宇宙航4 小时前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
onceco4 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
天水幼麟5 小时前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习
jndingxin7 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
天水幼麟7 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
Sweet锦7 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言
hie988948 小时前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学03278 小时前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉