【20250101】Nature正刊:纯仿真强化学习得到外骨骼机器人的自适应控制策略

基本信息

论文标题:Experiment-free exoskeleton assistance via learning in simulation

发表期刊:Nature

发表时间:2024年6月12日

访问链接

论文https://www.nature.com/articles/s41586-024-07382-4?fromPaywallRec=true

代码https://github.com/IntelligentRobotLearning/pseudocode_learning_in_simulation

科学问题

该论文针对助力型外骨骼机器人在户外复杂地形场景中的自适应控制方法研究,以实现以下3个目标:

  • 提高开发效率:通过在仿真中进行学习,避免传统方法中繁琐的数据采集及曲线拟合的方式;

  • 提高适应性和通用性:适应多种运动模式(步行、跑步和爬楼梯)并在模式之间平滑过渡;

  • 提高外骨骼的助力效果:通过对人体代谢率的测量,验证外骨骼在三种运动模式下的助力效果。

核心思路

1. 数据驱动的动态感知方法

利用人体运动捕捉数据和肌肉骨骼模型,构建了一个能够模拟人类运动和肌肉激活的仿真环境。通过将物理模型融入强化学习过程,提高仿真的精度和训练数据的效率,使得学习过程更加高效和真实。
img

2. 引入强化学习框架

提出了3个相互关联的多层感知器神经网络(模拟运动神经网络、肌肉协调神经网络和外骨骼控制神经网络),分别用于模仿人类运动、协调肌肉活动和控制外骨骼。

通过在仿真中进行数百万次的迭代训练,这些神经网络能够学到有效的控制策略,并在不同运动模式下自动生成辅助力矩。
img

3. 纯仿真环境的模型学习过程

提出了一种完全基于仿真学习的方法,不需要进行实际的人体实验,从而克服了传统方法中对大量人体实验的依赖。在仿真中进行学习的控制策略可以直接部署到实际的外骨骼设备上,并通过IMU传感器的数据进行实时控制,实现了仿真到现实的无缝迁移。
img

实验结果

1. 实验仿真环境

人体肌肉骨骼模型:模型具有50个自由度和208个骨骼肌,能够模拟人体在不同运动状态下的生物力学反应。

外骨骼机器人模型:模型包括外骨骼的机械结构和动力学特性,能够模拟外骨骼在辅助人体运动时的行为。
img

经过8小时都纯仿真学习(单机,RTX3090, NVIDIA),算法可以成功收敛,完全不需要在真实场景中进行模型的参数学习。

2. 在真机上的最终验证

外骨骼设备:髋关节助力型外骨骼机器人,重量约为3.2kg,能够产生最大18N·m的扭矩。

IMU传感器:在每条腿上安装一个九轴惯性测量单元(IMU)传感器(LPMS-B2, LP-Research)
img

在实验结果分析中,相比于其他方法,本论文提出的算法的最大特点是不需要对模型进行预训练,且所有的训练过程都是在仿真环境中完成的。

最终学习得到的模型也可以直接迁移到真实的外骨骼机器人上,并在户外的多种场景中进行步行、跑步、上下楼梯等场景测试。
img

实验展示视频如下:

相关推荐
拓端研究室19 分钟前
专题:2025人形机器人、工业机器人、智能焊接机器人、扫地机器人产业洞察报告 | 附158+份报告PDF、数据仪表盘汇总下载
microsoft·机器人·pdf
星马梦缘2 小时前
Matlab机器人工具箱7 搬运动画展示
matlab·机器人·仿真·逆解
星马梦缘17 小时前
Matlab机器人工具箱使用2 DH建模与加载模型
人工智能·matlab·机器人·仿真·dh参数法·改进dh参数法
星马梦缘1 天前
Matlab机器人工具箱使用1 简单的描述类函数
matlab·矩阵·机器人·位姿·欧拉角·rpy角
神仙别闹1 天前
基于单片机的六足机器人控制系统设计
单片机·嵌入式硬件·机器人
南山二毛2 天前
机器人控制器开发(传感器层——奥比大白相机适配)
数码相机·机器人
房开民3 天前
使用海康机器人相机SDK实现基本参数配置(C语言示例)
c语言·数码相机·机器人
南山二毛3 天前
机器人控制器开发(导航算法——导航栈关联坐标系)
人工智能·架构·机器人
猫头虎3 天前
2025最新超详细FreeRTOS入门教程:第一章 FreeRTOS移植到STM32
stm32·单片机·嵌入式硬件·机器人·硬件架构·freertos·嵌入式实时数据库
xwz小王子3 天前
Nature Machine Intelligence 基于强化学习的磁性微型机器人自主三维位置控制
机器人·微型机器人