启元 Q1 模型微调实战：强化学习训练抗推平衡策略

摘要

位置 PD 控制下，实测的启元 Q1 在 30N 侧推下站稳、40N 一推就倒------平衡是位置控制的天然边界。本文用强化学习补上这一课：从依赖安装开始，基于官方 q1_v3_mc 模型（60 传感器通道 + 22 力矩执行器，1kHz）搭建 Gymnasium 训练环境，用 PPO 训练抗推平衡策略，完整记录 150 万步训练：环境设计的三个关键决策（动作语义、奖励结构、推力课程）、一个被投机策略钻空子的奖励设计 bug 及其修复、训练管道的三个工程坑，以及最重要的------训练结果的诚实诊断：策略学会了大幅调整，还没学会恢复平衡。三个嫌疑与修复方向全部公开，训练脚本与模型随仓库可复现。

环境： Ubuntu 22.04.5 / mujoco 3.16.0 / torch 2.14（CPU）/ Stable-Baselines3 2.9.0 / gymnasium 1.4.0 / 官方 q1_v3 模型包

仓库： https://atomgit.com/capybarala/q1-balance-lab（环境、训练与评估脚本 + 150 万步 checkpoint）

一、任务与基线：把"40N 一推就倒"变成训练目标

一切从一条基线实验开始。在官方 q1_v3_mc 模型上以 PD 位置控制（kp=150, kd=8，力矩限幅 ±40Nm，目标角为官方站立姿态）让 Q1 站立，然后按固定协议施加侧向推力（0.5 秒、力度梯度 10--80N）：

30N 以内侧推稳如泰山（30N 时 Y 向偏移仅 0.017m），40N 一推就倒（倾倒至骨盆 0.131m）。

原因不难理解：位置 PD 把 22 个关节锁成"刚性棍"，重心一出支撑面，没有任何控制会去调整姿态。这条边界就是本文的训练目标：**训练一个策略，让 Q1 在被推之后仍能恢复站立，**至少扛住刚才推倒它的那个 40N。

任务的"原材料"官方早已备齐（加载模型即可核验）：q1_v3_mc.xml 自带 60 个传感器通道（IMU 姿态/角速度/加速度 + 22 关节位置 + 22 关节速度）与 22 个 ±40Nm 力矩执行器，1kHz 仿真步长，浮动基座。缺的确实只是训练循环------本文补上，并记录全过程。

**训练任务定义：**以本文第一节的位置 PD 基线实验为验收基准------抗扰边界（30N 站/40N 倒）是训练要打破的记录。

二、训练环境搭建：从依赖到可跑通

2.1 依赖安装

RL 训练的全部依赖四条命令装齐。torch 刻意选 CPU 版（--index-url 指向 PyTorch 的 CPU 仓库），避开 2GB 的 CUDA 依赖------WSL2 无独显直通，纯 CPU 训练正是本文的路线：

复制代码

pip3 install --user mujoco                          # 物理引擎（实测 3.16.0）
pip3 install --user torch --index-url https://download.pytorch.org/whl/cpu   # CPU 版（2.14.1）
pip3 install --user stable-baselines3 gymnasium     # RL 库（2.9.0 / 1.4.0）
python3 -c "import torch, stable_baselines3, gymnasium; print('OK')"

2.2 官方模型包准备

从开发者社区下载 q1_v3 模型包解压到 ~/workspace/q1_v3。注意 MJCF 头部的 meshdir="../meshes/" 用的是相对路径------xml/ 与 meshes/ 目录必须保持包内相对结构，不能只把 xml 单独拷走。

2.3 训练环境的三行骨架

Gymnasium 环境的本质是把 MuJoCo 包成 reset()/step() 接口。骨架如下（完整实现见仓库 q1_balance_env.py）：

复制代码

class Q1BalanceEnv(gym.Env):
    def __init__(self):
        self.model = mujoco.MjModel.from_xml_path(XML_PATH)
        self.data = mujoco.MjData(self.model)
        self.q_ref0 = self.data.qpos[7:].copy()      # 站立目标角
        self.observation_space = spaces.Box(
            -np.inf, np.inf, shape=(82,), dtype=np.float32)
        self.action_space = spaces.Box(
            -1.0, 1.0, shape=(22,), dtype=np.float32)

    def reset(self, seed=None, options=None):
        mujoco.mj_resetData(self.model, self.data)
        ...
        return self._obs(), {}

    def step(self, action):
        ...  # 目标角增量 → PD → 物理推进 20 步 → 奖励/终止判定

三、训练环境设计：三个关键决策

骨架之上，三个设计决策决定了训练成败。

3.1 动作语义：不学力矩，学"目标角怎么调"

直接让 RL 输出 22 路力矩（±40Nm）是人形 RL 的地狱模式------力矩稍有抖动就摔倒，探索空间大到学不动。本文采用标准做法：策略输出 22 维 $-1,1$ 连续动作，解释为目标关节角的增量（±0.35rad），叠加在站立目标角上并按关节限位裁剪，仍由 PD 执行：

复制代码

target = np.clip(self.q_ref0 + ACTION_SCALE * action,
                 self.jnt_lo, self.jnt_hi)      # 增量叠加 + 限位裁剪
self.data.ctrl[:] = np.clip(
    KP * (target - q) - KD * v, -TAU_MAX, TAU_MAX)

这样 RL 学的是"目标角怎么调"（策略层），PD 负责"力矩怎么给"（执行层），每步奖励信号立刻变得可归因。每个策略动作重复 20 步物理（1kHz→50Hz 控制频率，与二开实际控制频率对齐）。

3.2 观测与奖励

观测 = 60 个官方传感器通道 + 22 维上一步动作 = 82 维。奖励按"活得好"拆成四项：

复制代码

reward  = 0.6                                            # 存活
reward += 1.2 * max(0.0, z - FALL_Z) / (PELVIS_STAND_Z - FALL_Z)  # 骨盆高度
reward += 0.8 * max(0.0, (up - 0.62) / 0.38)             # 躯干直立
reward -= 0.02 * float(np.sum(action ** 2))              # 控制代价
if fall:
    reward -= 40.0                                       # 摔倒惩罚（见第四节）

摔倒判据：骨盆高度 z < 0.30m，或躯干 up 投影 < 0.62（倾角约 50°）------判据阈值全部来自第一节的基线数据（站立 0.419m、摔倒跌至 0.131m），不是拍脑袋。

3.3 推力课程：把"被推"编进训练

只学静态站立很快，但"抗推"必须被推着学。训练中以 0.4% 概率（每 50Hz 决策步）施加随机方向侧推，力度随训练进度从 12N 线性升到 60N（课程式加压）：

复制代码

force = np.random.uniform(0.2, 1.0) * PUSH_MAX_N * max(0.2, self.progress)
theta = np.random.uniform(0, 2 * np.pi)
self.data.xfrc_applied[self.pelvis_id, 0] = force * np.cos(theta)
self.data.xfrc_applied[self.pelvis_id, 1] = force * np.sin(theta)

评估协议与第一节的基线实验完全一致：侧向推 0.5 秒，10--80N 梯度------保证训练前后数据可比。

**训练环境结构：**82 维观测 → PPO 策略 → 22 维目标角增量 → PD 执行 → MuJoCo 1kHz 物理推进；推力课程随训练进度加压，评估协议与 PD 基线一致。

四、奖励设计的坑：一个被投机策略钻空子的 bug

环境写完第一轮冒烟就撞了个经典坑：随机策略平均能拿 90+ 的正分------摔倒才扣 3 分，而摔之前每步净赚 2.6 分。这意味着"活 50 步然后摔"比"老实站"更划算，RL 会学出投机策略。

修复：摔倒惩罚改为 −40（压过整个正向存活流），让"早摔"的机会成本显性化。修复后随机策略的分数结构才变成"站满 500 步拿 ~1300 分"远优于"早摔拿 ~100 分"------奖励信号方向正确，训练才有意义。

这个 bug 的教训：奖励不是"惩罚大就管用"，而是要与整个回报结构对比着设计。RL 调参的一半工作量在奖励，此言不虚。

五、150 万步训练实录

5.1 训练脚本与启动

训练用 PPO（Stable-Baselines3），核心配置：

复制代码

env = DummyVecEnv([build_env for _ in range(4)])     # 4 环境串行
model = PPO("MlpPolicy", env,
            n_steps=512, batch_size=2048, n_epochs=10,
            learning_rate=3e-4, ent_coef=0.0,
            gamma=0.99, gae_lambda=0.95, device="cpu")
model.learn(total_timesteps=1_500_000, callback=ProgressCallback(total))

ProgressCallback 把训练进度喂给推力课程（进度越深推得越狠）。启动前还排掉了两个工程坑：SB3 的 16 并行子环境在 torch 线程池 + fork 下死锁（16 个子进程只起来 1 个，CPU 95% 空闲），换串行 DummyVecEnv 并把 torch 限制到 4 线程后稳定；进程清理则统一走脚本（pkill 的关键词匹配会把执行命令的 shell 一起杀掉，是 WSL 下反复出现的坑）。

5.2 冒烟：5 万步验证管道

正式训练前先小跑一轮验证管道（训练→保存→加载→评估）。5 万步模型的结果：无推力存活 1.9 秒------没学会站。这在预期内：5 万步只是确认"管道通"，学人形平衡需要百万级步数。

5.3 正式训练：150 万步

挂机约 45 分钟（CPU 4 线程）跑完。评估结果（每档 5 次取均值，协议与第一节一致）：

|------|------------|---------------|
| 侧推力度 | PD 基线（第一节） | RL 策略（150 万步） |
| 无推力 | 稳定站立 | 1.6s |
| 10N | 站稳 | 1.5s |
| 30N | 站稳 | 1.5s |
| 40N | 摔倒 | 1.4s |
| 80N | 摔倒 | 1.4s |

结论直说：150 万步，还没完全学会。 无推力下与随机策略同水平（1.6s vs ~1s）。

无推力下与随机策略同水平（1.6s vs ~1s）。

训练产物是一个 278KB 的 checkpoint （ppo_q1_balance_v1.zip）：内含 policy.pth 权重文件与训练元数据，加载后打印策略网络可见完整的 MlpPolicy 结构（两层 256 神经元的策略头与价值头）------22 维观测向量进、22 维动作增量出的全部"武功"就压缩在这 278KB 里。

**150 万步的训练产物：**278KB 的 checkpoint 内含策略权重与元数据；加载后打印的 MlpPolicy 结构即本策略的全部网络。

评估脚本原始输出：无推力基线与 10-80N 推力梯度------上表数字的直接数据源，脚本随仓库开源。

150 万步策略的 40N 侧推实录（离线渲染）：策略在推力下大幅调整姿态，1.44 秒后倾倒------与评估表格数据一致。

六、诊断：它学会了"动"，没学会"稳"

直接下结论"RL 不行"是不负责任的，先诊断。检查策略输出：没有塌缩------动作标准差 0.745、极差 2.0，策略在大幅、积极地调整。再看轨迹：骨盆从 0.425 缓慢倾倒至 0.300，躯干倾角到 50°。

拼起来的图景是：策略学会了"被推时要大幅动"，但没学会"往哪动才能恢复平衡"------像慌乱中手脚并用却站不稳的人。而且每次试验时长高度一致（1.5-1.6 秒），说明倾倒过程是确定性的：策略的响应没有针对扰动做出有效差异。

七、为什么没学会：三个假设与修复方向

按可疑度排序（完整分析见仓库 notes.md）：

动作权限可能不够：±0.35rad 的目标角增量在身体已倾斜时产生的恢复力矩有限------恢复平衡可能需要更大动作权限（±0.6rad）或更聪明的动作语义（如踝策略）。
奖励对"恢复过程"没有梯度：站立时高度分恒定，倾倒初期奖励几乎不变，直到跌出阈值才突变------策略感知不到"正在变糟，该往哪修"。改进方向：加入躯干倾角变化率的奖励项。
观测信噪比：60 通道里含绝对位置等与平衡弱相关的信号，缺一个简洁的"姿态误差"表示（如 up 向量与目标角偏差）。

每一项修复都要改环境重训数小时------这就是 RL 调参的真实成本，也是本文停在"150 万步实录 + 诊断"的原因：把修复方向留给下一轮，下次可以拿同一套环境接着练。

**训练前后对照：**PD 基线（30N 站/40N 倒）与 RL 150 万步策略的推力梯度对照；诊断发现策略已学会大幅调整但未掌握恢复。

八、结论：平衡是 RL 的真难题

这一篇的产出不是"训练成功的策略"，而是一份诚实的训练实录 ：环境设计（动作语义/奖励结构/推力课程）可直接复用；奖励投机 bug 的排查是 RL 实战的必修课；150 万步的诊断（策略在动、不会恢复）把"下一步该改什么"指向了明确的三处。平衡确实是人形 RL 的真难题------官方把观测和动作空间配齐只是发了入场券，入场之后的每一步都要自己趟。本文的模型包与开发文档均来自启元机器人开发者社区。训练脚本、环境与 150 万步 checkpoint 全部开放：https://atomgit.com/capybarala/q1-balance-lab，欢迎大家尝试。

参考资料

启元机器人开发者社区（q1_v3 模型包与 SDK）：启元机器人开发者社区 · 一站式具身智能研发平台

Stable-Baselines3 文档：https://stable-baselines3.readthedocs.io/（PPO，v2.9.0）

Gymnasium 文档：Gymnasium Documentation（v1.4.0）

本文配套仓库 q1-balance-lab：https://atomgit.com/capybarala/q1-balance-lab