启元 Q1 模型微调实战：强化学习训练抗推平衡策略位置 PD 控制下，实测的启元 Q1 在 30N 侧推下站稳、40N 一推就倒——平衡是位置控制的天然边界。本文用强化学习补上这一课：从依赖安装开始，基于官方 q1_v3_mc 模型（60 传感器通道 + 22 力矩执行器，1kHz）搭建 Gymnasium 训练环境，用 PPO 训练抗推平衡策略，完整记录 150 万步训练：环境设计的三个关键决策（动作语义、奖励结构、推力课程）、一个被投机策略钻空子的奖励设计 bug 及其修复、训练管道的三个工程坑，以及最重要的——训练结果的诚实诊断：策略学会了大幅调整