【20250101】Nature正刊:纯仿真强化学习得到外骨骼机器人的自适应控制策略

基本信息

论文标题:Experiment-free exoskeleton assistance via learning in simulation

发表期刊:Nature

发表时间:2024年6月12日

访问链接

论文https://www.nature.com/articles/s41586-024-07382-4?fromPaywallRec=true

代码https://github.com/IntelligentRobotLearning/pseudocode_learning_in_simulation

科学问题

该论文针对助力型外骨骼机器人在户外复杂地形场景中的自适应控制方法研究,以实现以下3个目标:

  • 提高开发效率:通过在仿真中进行学习,避免传统方法中繁琐的数据采集及曲线拟合的方式;

  • 提高适应性和通用性:适应多种运动模式(步行、跑步和爬楼梯)并在模式之间平滑过渡;

  • 提高外骨骼的助力效果:通过对人体代谢率的测量,验证外骨骼在三种运动模式下的助力效果。

核心思路

1. 数据驱动的动态感知方法

利用人体运动捕捉数据和肌肉骨骼模型,构建了一个能够模拟人类运动和肌肉激活的仿真环境。通过将物理模型融入强化学习过程,提高仿真的精度和训练数据的效率,使得学习过程更加高效和真实。
img

2. 引入强化学习框架

提出了3个相互关联的多层感知器神经网络(模拟运动神经网络、肌肉协调神经网络和外骨骼控制神经网络),分别用于模仿人类运动、协调肌肉活动和控制外骨骼。

通过在仿真中进行数百万次的迭代训练,这些神经网络能够学到有效的控制策略,并在不同运动模式下自动生成辅助力矩。
img

3. 纯仿真环境的模型学习过程

提出了一种完全基于仿真学习的方法,不需要进行实际的人体实验,从而克服了传统方法中对大量人体实验的依赖。在仿真中进行学习的控制策略可以直接部署到实际的外骨骼设备上,并通过IMU传感器的数据进行实时控制,实现了仿真到现实的无缝迁移。
img

实验结果

1. 实验仿真环境

人体肌肉骨骼模型:模型具有50个自由度和208个骨骼肌,能够模拟人体在不同运动状态下的生物力学反应。

外骨骼机器人模型:模型包括外骨骼的机械结构和动力学特性,能够模拟外骨骼在辅助人体运动时的行为。
img

经过8小时都纯仿真学习(单机,RTX3090, NVIDIA),算法可以成功收敛,完全不需要在真实场景中进行模型的参数学习。

2. 在真机上的最终验证

外骨骼设备:髋关节助力型外骨骼机器人,重量约为3.2kg,能够产生最大18N·m的扭矩。

IMU传感器:在每条腿上安装一个九轴惯性测量单元(IMU)传感器(LPMS-B2, LP-Research)
img

在实验结果分析中,相比于其他方法,本论文提出的算法的最大特点是不需要对模型进行预训练,且所有的训练过程都是在仿真环境中完成的。

最终学习得到的模型也可以直接迁移到真实的外骨骼机器人上,并在户外的多种场景中进行步行、跑步、上下楼梯等场景测试。
img

实验展示视频如下:

相关推荐
跳跳糖炒酸奶22 分钟前
第四章、Isaacsim在GUI中构建机器人(2):组装一个简单的机器人
人工智能·python·算法·ubuntu·机器人
csssnxy4 小时前
网红指路机器人的主要功能有哪些?
机器人
跳跳糖炒酸奶4 小时前
第四章、Isaacsim在GUI中构建机器人(1): 添加简单对象
人工智能·python·ubuntu·机器人
扫地的小何尚4 小时前
NVIDIA工业设施数字孪生中的机器人模拟
android·java·c++·链表·语言模型·机器人·gpu
硅谷秋水4 小时前
MoLe-VLA:通过混合层实现的动态跳层视觉-语言-动作模型实现高效机器人操作
人工智能·深度学习·机器学习·计算机视觉·语言模型·机器人
OpenLoong 开源社区7 小时前
技术视界 | 从哲学到技术:人形机器人感知导航的探索(下篇)
人工智能·机器人·开源社区·人形机器人·openloong
机器人之树小风7 小时前
KUKA机器人零点校正工具EMD
经验分享·科技·机器人
Wnq1007214 小时前
智能巡检机器人在化工企业的应用研究
运维·计算机视觉·机器人·智能硬件·deepseek
kyle~1 天前
机器人传感器系统---时间戳对齐
机器人
淮北4942 天前
ros调试工具foxglove使用指南三:在3d空间写写画画(Panel->3D ->Scene entity)
python·学习·3d·机器人