【20250101】Nature正刊:纯仿真强化学习得到外骨骼机器人的自适应控制策略

基本信息

论文标题:Experiment-free exoskeleton assistance via learning in simulation

发表期刊:Nature

发表时间:2024年6月12日

访问链接

论文https://www.nature.com/articles/s41586-024-07382-4?fromPaywallRec=true

代码https://github.com/IntelligentRobotLearning/pseudocode_learning_in_simulation

科学问题

该论文针对助力型外骨骼机器人在户外复杂地形场景中的自适应控制方法研究,以实现以下3个目标:

  • 提高开发效率:通过在仿真中进行学习,避免传统方法中繁琐的数据采集及曲线拟合的方式;

  • 提高适应性和通用性:适应多种运动模式(步行、跑步和爬楼梯)并在模式之间平滑过渡;

  • 提高外骨骼的助力效果:通过对人体代谢率的测量,验证外骨骼在三种运动模式下的助力效果。

核心思路

1. 数据驱动的动态感知方法

利用人体运动捕捉数据和肌肉骨骼模型,构建了一个能够模拟人类运动和肌肉激活的仿真环境。通过将物理模型融入强化学习过程,提高仿真的精度和训练数据的效率,使得学习过程更加高效和真实。
img

2. 引入强化学习框架

提出了3个相互关联的多层感知器神经网络(模拟运动神经网络、肌肉协调神经网络和外骨骼控制神经网络),分别用于模仿人类运动、协调肌肉活动和控制外骨骼。

通过在仿真中进行数百万次的迭代训练,这些神经网络能够学到有效的控制策略,并在不同运动模式下自动生成辅助力矩。
img

3. 纯仿真环境的模型学习过程

提出了一种完全基于仿真学习的方法,不需要进行实际的人体实验,从而克服了传统方法中对大量人体实验的依赖。在仿真中进行学习的控制策略可以直接部署到实际的外骨骼设备上,并通过IMU传感器的数据进行实时控制,实现了仿真到现实的无缝迁移。
img

实验结果

1. 实验仿真环境

人体肌肉骨骼模型:模型具有50个自由度和208个骨骼肌,能够模拟人体在不同运动状态下的生物力学反应。

外骨骼机器人模型:模型包括外骨骼的机械结构和动力学特性,能够模拟外骨骼在辅助人体运动时的行为。
img

经过8小时都纯仿真学习(单机,RTX3090, NVIDIA),算法可以成功收敛,完全不需要在真实场景中进行模型的参数学习。

2. 在真机上的最终验证

外骨骼设备:髋关节助力型外骨骼机器人,重量约为3.2kg,能够产生最大18N·m的扭矩。

IMU传感器:在每条腿上安装一个九轴惯性测量单元(IMU)传感器(LPMS-B2, LP-Research)
img

在实验结果分析中,相比于其他方法,本论文提出的算法的最大特点是不需要对模型进行预训练,且所有的训练过程都是在仿真环境中完成的。

最终学习得到的模型也可以直接迁移到真实的外骨骼机器人上,并在户外的多种场景中进行步行、跑步、上下楼梯等场景测试。
img

实验展示视频如下:

相关推荐
资源开发与学习7 小时前
机器人运动规划源码解析
机器人
hi0_62 天前
机器学习实战(一): 什么是机器学习
人工智能·机器学习·机器人·机器学习实战
大视码垛机2 天前
速度与安全双突破:大视码垛机重构工业自动化新范式
大数据·数据库·人工智能·机器人·自动化·制造
WWZZ20252 天前
视觉SLAM第10讲:后端2(滑动窗口与位子图优化)
c++·人工智能·后端·算法·ubuntu·机器人·自动驾驶
deephub2 天前
机器人逆运动学进阶:李代数、矩阵指数与旋转流形计算
人工智能·机器学习·矩阵·机器人·李群李代数
武子康2 天前
AI-调查研究-76-具身智能 当机器人走进生活:具身智能对就业与社会结构的深远影响
人工智能·程序人生·ai·职场和发展·机器人·生活·具身智能
小鹿清扫日记2 天前
从蛮力清扫到 “会看路”:室外清洁机器人的文明进阶
人工智能·ai·机器人·扫地机器人·具身智能·连合直租·有鹿巡扫机器人
shuidaoyuxing2 天前
机器人防爆的详细讲解
机器人
物联网软硬件开发-轨物科技2 天前
【轨物方案】赋能绿色能源新纪元:轨物科技发布光伏清洁机器人智能控制与运维解决方案
科技·机器人·能源
尤齐3 天前
《机器人抓取:从经典到现代的综述》内容的提取和凝练:
机器人