【20250101】Nature正刊:纯仿真强化学习得到外骨骼机器人的自适应控制策略

基本信息

论文标题:Experiment-free exoskeleton assistance via learning in simulation

发表期刊:Nature

发表时间:2024年6月12日

访问链接

论文https://www.nature.com/articles/s41586-024-07382-4?fromPaywallRec=true

代码https://github.com/IntelligentRobotLearning/pseudocode_learning_in_simulation

科学问题

该论文针对助力型外骨骼机器人在户外复杂地形场景中的自适应控制方法研究,以实现以下3个目标:

  • 提高开发效率:通过在仿真中进行学习,避免传统方法中繁琐的数据采集及曲线拟合的方式;

  • 提高适应性和通用性:适应多种运动模式(步行、跑步和爬楼梯)并在模式之间平滑过渡;

  • 提高外骨骼的助力效果:通过对人体代谢率的测量,验证外骨骼在三种运动模式下的助力效果。

核心思路

1. 数据驱动的动态感知方法

利用人体运动捕捉数据和肌肉骨骼模型,构建了一个能够模拟人类运动和肌肉激活的仿真环境。通过将物理模型融入强化学习过程,提高仿真的精度和训练数据的效率,使得学习过程更加高效和真实。
img

2. 引入强化学习框架

提出了3个相互关联的多层感知器神经网络(模拟运动神经网络、肌肉协调神经网络和外骨骼控制神经网络),分别用于模仿人类运动、协调肌肉活动和控制外骨骼。

通过在仿真中进行数百万次的迭代训练,这些神经网络能够学到有效的控制策略,并在不同运动模式下自动生成辅助力矩。
img

3. 纯仿真环境的模型学习过程

提出了一种完全基于仿真学习的方法,不需要进行实际的人体实验,从而克服了传统方法中对大量人体实验的依赖。在仿真中进行学习的控制策略可以直接部署到实际的外骨骼设备上,并通过IMU传感器的数据进行实时控制,实现了仿真到现实的无缝迁移。
img

实验结果

1. 实验仿真环境

人体肌肉骨骼模型:模型具有50个自由度和208个骨骼肌,能够模拟人体在不同运动状态下的生物力学反应。

外骨骼机器人模型:模型包括外骨骼的机械结构和动力学特性,能够模拟外骨骼在辅助人体运动时的行为。
img

经过8小时都纯仿真学习(单机,RTX3090, NVIDIA),算法可以成功收敛,完全不需要在真实场景中进行模型的参数学习。

2. 在真机上的最终验证

外骨骼设备:髋关节助力型外骨骼机器人,重量约为3.2kg,能够产生最大18N·m的扭矩。

IMU传感器:在每条腿上安装一个九轴惯性测量单元(IMU)传感器(LPMS-B2, LP-Research)
img

在实验结果分析中,相比于其他方法,本论文提出的算法的最大特点是不需要对模型进行预训练,且所有的训练过程都是在仿真环境中完成的。

最终学习得到的模型也可以直接迁移到真实的外骨骼机器人上,并在户外的多种场景中进行步行、跑步、上下楼梯等场景测试。
img

实验展示视频如下:

相关推荐
kyle~3 小时前
机器人传感器系统---时间戳对齐
机器人
淮北49417 小时前
ros调试工具foxglove使用指南三:在3d空间写写画画(Panel->3D ->Scene entity)
python·学习·3d·机器人
AntResearch20 小时前
ICLR 2025 Spotlight:让机器人实现「自主进化」,蚂蚁数科、清华提出具身协同框架 BodyGen
机器人
东雁西飞1 天前
MATLAB 控制系统设计与仿真 - 33
开发语言·算法·matlab·机器人·自动控制
郭涤生1 天前
第二章:ROS架构_《ROS机器人开发实践》_notes
架构·机器人
MobiCetus1 天前
【MachineLearning】生成对抗网络 (GAN)
linux·人工智能·python·深度学习·神经网络·生成对抗网络·机器人
古希腊掌握嵌入式的神1 天前
[ROS]ROS系统是如何协调工作机器人
机器人·ros
硅谷秋水1 天前
DataPlatter:利用最少成本数据提升机器人操控的泛化能力
人工智能·深度学习·计算机视觉·语言模型·机器人
Mr.Winter`1 天前
深度强化学习 | 基于优先级经验池的DQN算法(附Pytorch实现)
人工智能·pytorch·神经网络·机器学习·机器人·强化学习
GIS数据转换器2 天前
在机器人和无人机时代,测绘人的出路在哪里?
大数据·人工智能·信息可视化·机器人·自动驾驶·汽车·无人机