别卷手柄了!跨平台VR遥操系统实现仿真

我们构建了一个基于 Quest 3 的 VR 遥操系统,该系统能够同时支持 DISCOVERSE 仿真环境与 MMK2 真机的操控,实现了从虚拟环境到真实机器人系统的无缝对接。 • 基于 VR 实现的遥操系统具有良好的扩展性和便携性,为多场景应用提供了灵活的操作方式。 • 该 VR 远程操控系统可用于在 DISCOVERSE 仿真环境和 MMK2 真机采集数据,并将采集到 的数据作为模仿学习中的示教数据,从而提升机器人学习与控制的效率------罗凯骏、刘子聿、冯儒

一、研究背景

• 基于learning的方法在机器人领域引发了变革,显著提高了机器人在移动、操纵等方面的能力。 近期研究进一步推动了多模态学习以及预训练模型的高效微调等任务。而这些研究的核心需求 是收集示教数据,以支持模型训练和优化。

• 通过遥操可以收集示教数据,并提供流畅的轨迹数据,使学习到的策略能够推广到新的环境和任 务中。因此当下遥操一种收集数据的重要手段

二、目前主流方法

外骨骼:需要一个从臂来控制主臂,成本高,通用性较差且不便移动

**手柄:**操作复杂,上手难度较高

以上方法都有两个明显缺陷: 1. 操作者和真机必须在同一地点,不支持远程操作 2. 操作者与机器人的观测不同,难以支持第一人称视角,操作者很难确保 采集到需要的corner case数据

VR **:**VR开发灵活,可以适配多机器人平台,易于拓展 VR遥操作方案无需穿戴外骨骼等设备,安全且低成本 VR遥操以第一人称采集示教数据,更容易确保示教数据的质量

三、研究思路

基于DISCOVERSE仿真环境及真机,使用VR遥操作采集数据,并训练ACT算法

使用quest3在DISCOVERSE中采集仿真器数据

使用quest3在mmk2真机上遥操采集数据

混合模拟环境自动生成和VR遥操采集数据训练

在仿真环境以及真机上验证模型的性能

四、VR遥操技术方案

VR遥操实现 使用ROS-TCP-Endpoint与ROS-TCP-Connector实现VR、仿真器 和真机之间的网络连接;同时通过开发Unity程序进行图传,实 时展示VR遥操的效果。 通过ROS-TCP-Endpoint和ROS-TCP-Connector建立连接,可以实 时发送与接收ROS2中的话题,同时我们通过话题的实现图传与 VR数据的传输。 对于机器人底盘的移动以及平台的升降,我们使用Quest 3 手柄 的摇杆实现;夹爪的开闭通过手柄上的按键实现;最后机械臂 的移动通过获取手柄的末端位姿,并通过IK结算得到机械臂对应的关节角实现。

五、后续工作

• VR 远程操控系统已成功实现对夹爪、脊柱及底盘的遥操,但在手臂部分仍存在一定问题。 鉴于当前的操纵任务相对简单,系统未涉及复杂的超限问题的处理。然而,为了进一步提 升系统的可靠性与鲁棒性,该问题仍需深入研究与解决。

• 设计数据采集和实验方案,采集真机与仿真数据进行训练,从中对比模型的效果,为后续 优化提供思路。

相关推荐
在下胡三汉15 小时前
3dmax物理材质转换标准材质,物理材质转VR材质,VR材质转标准材质3dmax物理材质转标准材质插件
vr·材质
EQ-雪梨蛋花汤18 小时前
【Part 3 Unity VR眼镜端播放器开发与优化】第四节|高分辨率VR全景视频播放性能优化
unity·音视频·vr
在下胡三汉1 天前
3dmax烘焙插件3dmax法线贴图烘焙教程glb和gltf元宇宙灯光效果图烘焙烘焙光影贴图支持VR渲染器
vr·贴图
在下胡三汉1 天前
3dmax标准材质转物理材质插件,支持VR材质和CR材质转换成功物理材质,支持多维子材质
vr·材质
广州华锐视点1 天前
VR小鼠解剖虚拟仿真:开启生命科学教育新视野
vr·vr小鼠解剖虚拟仿真
zhongqu_3dnest1 天前
虚拟现实:开启沉浸式体验新时代
vr·虚拟现实·教育·房产·应用领域·技术原理·沉浸式体验
广州华锐视点3 天前
广州华锐互动:以创新科技赋能教育,开启沉浸式学习
ar·vr·虚拟现实
爱看科技3 天前
苹果AR/VR头显路线图曝光,微美全息推进AI/AR智能眼镜新品开启视觉体验篇章
人工智能·ar·vr
ykjhr_3d3 天前
VR 全景视频赋能中央美院,开启艺术新世界大门
vr
棱镜研途16 天前
学习笔记丨AR≠VR:透视沉浸式技术的“虚实象限”法则
学习·机器学习·ar·vr·虚拟现实