【强化学习笔记】从数学推导到电机控制：深入理解 Policy Gradient 与 Sim-to-Real
前言 ：
最近在研究基于
legged_gym的四足机器人控制。在啃代码和论文的过程中，Policy Gradient（策略梯度）是一个绕不开的核心概念。面对一堆 \(\nabla\) 和 \(\log\) 符号，我不禁思考：这些抽象的数学公式，到底是如何变成控制电机输出扭矩的指令的？
本文将从最基础的目标函数出发，推导策略梯度公式，并结合 Sim-to-Real（仿真到真机）的工程难点，记录我的理解。
1. 核心目标：我们在优化什么？
在强化学习（RL）中，我们的机器狗（Agent）拥有一个策略网络（Policy Network），参数为 \(\theta\)。我们的终极目标是找到一组参数，使得机器人在环境中的**期望回报（Expected Return）**最大化。
我们将这个目标函数记为 \(U(\theta)\)：
\[U(\theta) = E_{\tau \sim P_\theta(\tau)} [R(\tau)] \]
这里的符号含义如下：
- \(\tau\) (Trajectory) ：轨迹。代表机器人从开机到结束的一连串状态 \(s\) 和动作 \(a\) 的序列。
- \(R(\tau)\)：回报。这条轨迹获得的总分数（例如：走得远+10分，摔倒-100分，电机发热-5分）。
- \(P_\theta(\tau)\) ：概率。在当前策略 \(\pi_\theta\) 下，走出这条特定轨迹的概率。
简单来说，\(U(\theta)\) 就是机器人目前的"平均考试成绩"。我们要做的，就是通过梯度上升，把这个分数提上去。
2. 数学推导：Log-Derivative Trick
为了提升 \(U(\theta)\)，我们需要求它的梯度 \(\nabla_\theta U(\theta)\)。这里的核心难点在于：我们无法直接对环境（物理世界）求导 。但是，利用似然比技巧（Likelihood Ratio Trick），我们可以巧妙地绕过环境模型。
2.1 展开为积分
期望本质上是加权平均。我们将 \(U(\theta)\) 写成积分形式：
\[\nabla_\theta U(\theta) = \nabla_\theta \int P_\theta(\tau) R(\tau) d\tau \]
假设奖励函数 \(R(\tau)\) 是由环境给出的客观反馈，与 \(\theta\) 无关，我们可以把梯度算子移进去：
\[= \int \nabla_\theta P_\theta(\tau) R(\tau) d\tau \]
2.2 引入 Log 技巧
利用微积分恒等式 \((\log x)' = \frac{1}{x} \Rightarrow \nabla x = x \cdot \nabla \log x\)，我们可以将 \(\nabla_\theta P_\theta(\tau)\) 替换为：
\[\nabla_\theta P_\theta(\tau) = P_\theta(\tau) \nabla_\theta \log P_\theta(\tau) \]
代回原式：
\[\nabla_\theta U(\theta) = \int \color{red}{P_\theta(\tau) \nabla_\theta \log P_\theta(\tau)} R(\tau) d\tau \]
2.3 变回期望，消掉环境
现在积分里又出现了 \(P_\theta(\tau)\)，这正是期望的定义。同时，将轨迹概率 \(P_\theta(\tau)\) 展开后，所有与策略参数 \(\theta\) 无关的环境转移概率（Dynamics）在求导时都变成了 0。
最终，我们得到经典的策略梯度公式：
\[\nabla_\theta U(\theta) = E_{\tau \sim P_\theta(\tau)} \left[ \sum_{t} \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot R(\tau) \right] \]
Note : 这个公式的强大之处在于 Model-Free。它不需要知道机器人腿有多重、地面摩擦系数是多少，只要能采样（Rollout），就能训练。
3. 物理直觉：梯度如何影响电机？
公式中的 \(\nabla_\theta \log \pi_\theta(a_t|s_t)\) 实际上是在调整策略网络输出分布的均值（对于高斯策略）。
我们可以将参数更新过程具象化为：
-
正反馈（Reward > 0）：
- 如果机器狗做了一个动作（比如前腿抬高），并且之后没有摔倒，获得了正奖励。
- 梯度会增加该状态下输出"前腿抬高"的概率。
- 电机层面的效果：神经网络会记住这个关节位置，下次遇到类似状态，会更倾向于输出这个位置指令。
-
负反馈（Reward < 0）：
- 如果机器狗因为步幅过大导致劈叉，获得了负奖励。
- 梯度方向反转，抑制该动作的概率。
- 电机层面的效果：神经网络会学会"收敛"，减小输出幅度。
4. 工程挑战：Sim-to-Real Gap
在 Isaac Gym 仿真中，基于上述原理训练出的策略往往表现完美，但直接部署到真机（如 A1 或自定义的 8010 电机狗）上，常常会失效。
这就是著名的 Sim-to-Real Gap，主要源于以下差异：
4.1 执行器动力学（Actuator Dynamics）
这是最关键的差异。
- Sim : 理想电机。指令 \(T_{cmd}\) 下发，实际扭矩 \(T_{out}\) 瞬间到达。
- Real : 真实电机（如宇树 8010）是一个复杂的动力学系统，存在带宽限制、死区、摩擦。高频的剧烈抖动指令在真机上根本执行不出来，甚至会导致电机过热保护。
4.2 延迟（Latency）
- Real : 传感器数据（IMU MINS-200）通过串口回传 \(\rightarrow\) C++解析 \(\rightarrow\) Python推理 \(\rightarrow\) 指令下发。这个闭环通常有 15ms-30ms 的延迟。
- 如果训练时没有模拟这个延迟，策略网络在真机上就会因为"反应慢半拍"而发生振荡。
4.3 解决方案：域随机化（Domain Randomization）
既然无法精准建模真实世界，我们就让仿真环境变得足够"恶劣"。在 legged_gym 中，我们通常会开启：
- Mass Randomization: 随机改变机身质量。
- Friction Randomization: 地面摩擦系数在 0.5~1.5 之间跳变。
- Push Robots: 定时给机器人施加随机外力推挤。
- Lag Simulation: 模拟随机的控制回路延迟。
只要策略能在这个充满了随机扰动的"混沌宇宙"中存活，它在那个唯一的真实世界中大概率也能稳定行走。
5. 总结
Policy Gradient 将数学上的概率优化与物理上的电机控制连接了起来。理解了这个过程，不仅有助于调参（Reward Scaling），更能让我们在面对 Sim-to-Real 失败时，理性分析是哪一部分分布（Distribution）出了问题。
目前的计划是先在 Isaac Gym 和 MuJoCo 之间跑通 Sim-to-Sim 的验证流程，利用 MuJoCo 更精准的物理引擎来检验策略的鲁棒性，为之后的真机部署打好基础。
本文基于个人学习理解整理，欢迎指正交流。