基于 Legged Gym 的强化学习：7 种机器人的 PPO 训练实践

做过腿足机器人强化学习的朋友应该都清楚，这件事的入门门槛有多高------底层算法要自己写，训练细节要自己调，光是把环境跑通就能耗掉大半精力。为突破对应瓶颈，由 ZZS 开发、基于 Isaac Gym 构建的 Legged Gym 仿真框架提供了极具价值的解决方案。

Legged Gym 的核心思路是把 PPO 这类主流 RL 算法全部封装进去，开发者不用碰底层代码，专注写奖励函数就行。更关键的是，它不是只支持一种机器人，而是把七种代表性控制任务统一进了同一套工作流------从经典的二阶倒立摆，到 A1、Anymal 系列四足机器狗，再到 Cassie、PF2 这类双足机器人，一条命令启动，跨设备对比算法方便很多。

可以说，Legged Gym 不仅仅是一个代码工具箱，它更像是一个让强化学习回归「策略设计」本身的基础设施。它极大降低了腿足机器人智能控制的入门门槛，让研究人员能够更纯粹地去验证自己的控制灵感。本教程将基于 OpenBayes 平台，逐步熟悉这一框架，激活 7 种仿真环境，直观感受机器人在算法驱动下从笨拙走向灵动的全过程。

教程链接：https://go.openbayes.com/QbiKo

使用平台：OpenBayes

http://openbayes.com/console/signup?r=sony_0m6v

首先点击「公共教程」，找到「Legged Gym：强化学习仿真环境教程」，单击打开。

页面跳转后，点击右上角「克隆」，将该教程克隆至自己的容器中。

在当前页面中看到的算力资源均可以在平台一键选择使用。平台会默认选配好原教程所使用的算力资源、镜像版本，不需要再进行手动选择。点击「继续执行」，等待分配资源。

数据和代码都已经同步完成了。容器状态显示为「运行中」后，点击「通过 WEB 访问」，即可进入 VNC 工作空间。

训练前需要先激活已配置好的 Conda 环境。本容器已经完成环境安装，新建终端后直接执行以下命令即可

复制代码

# 激活 Legged Gym 虚拟环境 
source activate /input0/legged_gym_env 
# 设置 Python 共享库路径（Isaac Gym 依赖） 
export LD_LIBRARY_PATH=/input0/legged_gym_env/lib:$LD_LIBRARY_PATH 
cd /output/legged_gym

启动七种机器人训练任务

环境配置完成后，即可依次启动不同机器人的训练命令。每次命令执行后，Isaac Gym 会自动弹出渲染窗口。在窗口中，可使用 W、S、A、D 键结合 Shift、Space 键移动视角，按住鼠标右键拖动以旋转视角。

提示：训练过程将持续运行直到手动停止或达到最大迭代次数。如需切换至 CPU 运行，可在对应命令后追加 --sim_device=cpu 参数。

1. 二阶倒立摆（CartPole2）

作为强化学习入门的经典环境，观测空间包含各个关节角的速度和位置（6 维向量）。奖励函数旨在鼓励关节角速度最小化并使关节角尽量接近竖直状态。

复制代码

python legged_gym/scripts/train.py --task=cartpole2

Anymal C 平地行走（anymal_c_flat）

Legged Gym 默认的训练环境，针对 ANYbotics 开发的四足机器人，主要训练平地地形上的行走策略。

复制代码

python legged_gym/scripts/train.py --task=anymal_c_flat

Anymal C 粗糙地形行走（anymal_c_rough）

引入上坡、下坡、台阶等多种地形障碍的混合粗糙地形环境。相较于平地任务，需要进一步训练机器人自适应不同复杂地形的能力。

复制代码

python legged_gym/scripts/train.py --task=anymal_c_rough

Anymal B 粗糙地形行走（anymal_b）

针对 ANYbotics 上一代四足机器人的训练任务。因硬件配置和动力学参数有所不同，需要专门在粗糙地形上进行步态训练。

复制代码

python legged_gym/scripts/train.py --task=anymal_b

A1 四足机器狗（a1）

训练对象为宇树科技（Unitree）开发的小型四足机器人，在仿真环境中学习并优化运动控制策略。

复制代码

python legged_gym/scripts/train.py --task=a1

6. Cassie 双腿机器人（cassie）

具身智能领域中双足 locomotion 的经典研究平台。针对 Agility Robotics 开发的复杂腿部关节结构，训练双足机器人在仿真环境中实现稳定行走。

复制代码

python legged_gym/scripts/train.py --task=cassie

PF2 双腿鸵鸟机器人（pf2）

采用独特腿部结构设计的仿鸵鸟双足机器人，专注训练在仿真环境中实现快速奔跑与稳定运动的控制算法。

复制代码

python legged_gym/scripts/train.py --task=pf2