别卷手柄了!跨平台VR遥操系统实现仿真

我们构建了一个基于 Quest 3 的 VR 遥操系统,该系统能够同时支持 DISCOVERSE 仿真环境与 MMK2 真机的操控,实现了从虚拟环境到真实机器人系统的无缝对接。 • 基于 VR 实现的遥操系统具有良好的扩展性和便携性,为多场景应用提供了灵活的操作方式。 • 该 VR 远程操控系统可用于在 DISCOVERSE 仿真环境和 MMK2 真机采集数据,并将采集到 的数据作为模仿学习中的示教数据,从而提升机器人学习与控制的效率------罗凯骏、刘子聿、冯儒

一、研究背景

• 基于learning的方法在机器人领域引发了变革,显著提高了机器人在移动、操纵等方面的能力。 近期研究进一步推动了多模态学习以及预训练模型的高效微调等任务。而这些研究的核心需求 是收集示教数据,以支持模型训练和优化。

• 通过遥操可以收集示教数据,并提供流畅的轨迹数据,使学习到的策略能够推广到新的环境和任 务中。因此当下遥操一种收集数据的重要手段

二、目前主流方法

外骨骼:需要一个从臂来控制主臂,成本高,通用性较差且不便移动

**手柄:**操作复杂,上手难度较高

以上方法都有两个明显缺陷: 1. 操作者和真机必须在同一地点,不支持远程操作 2. 操作者与机器人的观测不同,难以支持第一人称视角,操作者很难确保 采集到需要的corner case数据

VR **:**VR开发灵活,可以适配多机器人平台,易于拓展 VR遥操作方案无需穿戴外骨骼等设备,安全且低成本 VR遥操以第一人称采集示教数据,更容易确保示教数据的质量

三、研究思路

基于DISCOVERSE仿真环境及真机,使用VR遥操作采集数据,并训练ACT算法

使用quest3在DISCOVERSE中采集仿真器数据

使用quest3在mmk2真机上遥操采集数据

混合模拟环境自动生成和VR遥操采集数据训练

在仿真环境以及真机上验证模型的性能

四、VR遥操技术方案

VR遥操实现 使用ROS-TCP-Endpoint与ROS-TCP-Connector实现VR、仿真器 和真机之间的网络连接;同时通过开发Unity程序进行图传,实 时展示VR遥操的效果。 通过ROS-TCP-Endpoint和ROS-TCP-Connector建立连接,可以实 时发送与接收ROS2中的话题,同时我们通过话题的实现图传与 VR数据的传输。 对于机器人底盘的移动以及平台的升降,我们使用Quest 3 手柄 的摇杆实现;夹爪的开闭通过手柄上的按键实现;最后机械臂 的移动通过获取手柄的末端位姿,并通过IK结算得到机械臂对应的关节角实现。

五、后续工作

• VR 远程操控系统已成功实现对夹爪、脊柱及底盘的遥操,但在手臂部分仍存在一定问题。 鉴于当前的操纵任务相对简单,系统未涉及复杂的超限问题的处理。然而,为了进一步提 升系统的可靠性与鲁棒性,该问题仍需深入研究与解决。

• 设计数据采集和实验方案,采集真机与仿真数据进行训练,从中对比模型的效果,为后续 优化提供思路。

相关推荐
huoyingcg10 小时前
武汉火影数字|数字党建展厅制作 VR红色数字纪念馆 党史馆数字化打造
科技·ar·vr·虚拟现实·增强现实
zhongqu_3dnest3 天前
什么是VR展馆?VR虚拟展馆有什么功能?
vr
终端域名3 天前
元宇宙游戏与VR的关联性及发展分析(截至2025年7月)
游戏·vr·元宇宙
全栈小53 天前
【数据库】国产数据库的新机遇:电科金仓以融合技术同步全球竞争
数据库·vr
zhongqu_3dnest3 天前
VR全景制作的流程?VR全景制作可以用在哪些领域?
vr
心疼你的一切4 天前
在AI深度嵌入企业业务的当下——AI时代的融合数据库
数据库·人工智能·ai·vr
音视频牛哥4 天前
Unity × RTMP × 头显设备:打造沉浸式工业远控视频系统的完整方案
vr·大牛直播sdk·vr头显·pico rtsp播放器·quest rtsp播放器·pico rtmp播放器·quest rtmp播放器
吴梓穆8 天前
unity VR linerenderer的线会被UI盖住
unity·vr
广州华锐视点11 天前
广州 VR 森林防火系统功能探究
vr
cpsvps13 天前
VR协作海外云:跨国企业沉浸式办公解决方案
windows·架构·vr·etw事件