MUJICA-轮腿机器人多技能统一控制架构整合【文献解读】

文献：MUJICA: Multi-skill Unified Joint Integration of Control Architecture for Wheeled-Legged Robots

作者：Yuqi Li, Peng Zhai, Yueqi Zhang, Xiaoyi Wei, Quancheng Qian, Zhengxu He, Qianxiang Yu, Lihua Zhang

单位：Fudan University；Power China Huadong Engineering Corporation Limited

论文地址：https://arxiv.org/abs/2605.13058

PDF 地址：https://arxiv.org/pdf/2605.13058

项目主页：https://hyzenthlayer.github.io/mujica/

图 1 MUJICA 实物多技能演示。 上排展示连续运动中的自动技能切换；中排展示高台攀爬、楼梯上行与跌倒恢复；下排展示机器人攀爬 1 m 高台的过程。该图直观体现了论文希望解决的核心目标：让轮足机器人在不依赖外部视觉/激光感知的情况下，通过本体感知完成多种差异较大的运动技能，并实现技能间平滑切换。

1. 论文核心问题概述

这篇论文提出 MUJICA（Multi-skill Unified Joint Integration of Control Architecture） ，面向 轮足机器人（wheeled-legged robot） 的多技能统一控制问题。轮足机器人同时具有轮式机器人的高效平地移动能力和腿式机器人的越障能力，但这也带来了更复杂的控制难点：机器人既要学会"像车一样滚动"，又要学会"像腿足机器人一样攀爬、翻身、越障"，还要在真实电机扭矩、速度、关节位置限制下安全执行。

论文的目标不是只训练一个单一行走策略，而是把以下三类低层技能统一到一个本体感知策略中：

Omnidirectional Moving：全向移动，用于普通地面、楼梯、坡面、离散障碍、粗糙地形等场景下的速度跟踪；
High Platform Climbing：高台攀爬，用于高平台、坑洞边缘等对轮腿协同要求极高的场景；
Fall Recovery：跌倒恢复，用于机器人从随机倒地姿态恢复站立。

同时，论文进一步训练一个 高层技能选择器（Skill Selector），根据历史本体感知信息自动选择当前应该激活的技能，而不是依赖人工切换或外部感知模块。

2. 研究背景与关键技术挑战

2.1 轮足机器人的优势与控制难点

轮足机器人结合了轮式结构和腿式结构：在平整地面上可以利用轮子快速、低能耗移动，在复杂地形中又可以利用腿部姿态变化完成越障、攀爬或恢复。相比纯四足机器人，它在平地效率和高台攀爬潜力上更强；相比纯轮式机器人，它在非结构化地形中的机动性更好。

但这种混合结构也带来控制难点：

轮-腿耦合动力学复杂：轮子速度控制和腿部关节位置/力矩控制同时存在，简单套用四足机器人行走策略容易浪费轮足结构的优势。
多技能之间动力学差异大：全向移动偏速度跟踪，高台攀爬需要强爆发和接触配合，跌倒恢复则需要大姿态翻转，三者的动作模式差异明显。
本体感知下的环境不可观测：策略部署时不使用相机、激光或深度图，只能依赖 IMU、关节状态、历史动作等本体信息推测地形和接触状态。
真实电机约束不可忽略：传统强化学习经常只用固定最大扭矩限制，而真实 DC 电机的最大可输出扭矩会随关节速度升高而下降，部分关节还会受关节位置影响。
Sim-to-Real 安全性要求高：如果仿真中学到的动作频繁超出真实电机可执行区域，实物部署时可能触发过流、过热、堵转或电机保护。

2.2 现有方法的主要不足

论文指出，现有腿足/轮足控制方法主要存在三类不足：

第一，很多 blind locomotion 策略虽然只依赖本体感知，但通常只覆盖相似技能，例如平地、坡地、楼梯等，对"高台攀爬 + 跌倒恢复 + 全向移动"这种差异较大的技能集合覆盖不足。

第二，多技能方法常见做法是训练多个专家策略，然后通过人工切换、蒸馏或 Mixture-of-Experts 融合。这样会引入网络复杂度、训练效率和动作冲突问题，例如不同专家对同一状态给出相互矛盾的动作。

第三，很多学习型控制方法对电机约束建模过于简化，只考虑固定最大扭矩，忽略 DC 电机"速度越高，可输出扭矩越小"的物理特性。这会导致仿真中策略看起来可行，但实物执行时超出电机能力范围。

因此，MUJICA 的核心问题可以概括为：如何在只使用本体感知的条件下，让轮足机器人通过一个统一低层策略掌握多种差异显著的运动技能，并通过安全约束与高层选择器实现可靠 Sim-to-Real 和自动技能切换。

3. 总体技术路线

论文整体路线可以拆成四个层次：

问题建模层：将轮足机器人控制建模为带约束的部分可观测马尔可夫决策过程，即 C-POMDP；
低层技能学习层：使用带技能指示变量的统一 Actor，联合学习全向移动、高台攀爬、跌倒恢复三类技能；
隐状态估计层：通过 GRU 历史编码器从本体感知中估计不可直接观测的速度、碰撞、轮地距离和潜在环境状态；
高层技能选择层：冻结低层技能后，训练一个技能选择器，根据历史本体感知自动输出当前技能类型。

图 2 MUJICA 控制框架总览。 低层策略由状态估计器、Actor、PD 控制器、奖励 Critic 和约束 Critic 组成；训练阶段 S1 中，各任务通过技能指示变量区分；训练阶段 S2 中，高层 Skill Selector 根据历史本体感知自动选择技能类型。部署时 Actor 与 Skill Selector 都只依赖本体感知信息。

从框架上看，MUJICA 不是"多个策略拼在一起"，而是通过 技能指示变量 + 状态估计器 + 约束强化学习 + 高层选择器 共同实现多技能统一控制。低层策略知道"当前要执行哪类技能"，高层选择器负责自动判断"现在应该用哪类技能"。

4. 问题形式化：C-POMDP 建模

论文将轮足机器人控制问题建模为 Constrained Partially Observable Markov Decision Process，C-POMDP。这是因为机器人在部署时无法获得完整环境状态，只能得到本体感知；同时又必须满足电机、碰撞等安全约束。

目标函数写为：

max ⁡ π E π $\sum t = 0 \infty γ t R ( s t , a t , s t + 1 )$ \max_{\pi} \; \mathbb{E}_{\pi}\left $\\sum_{t=0}\^{\\infty}\\gamma\^t R(s_t,a_t,s_{t+1})\\right$ πmaxEπ $t=0\sum\inftyγtR(st,at,st+1)$

约束条件为：

E π $\sum t = 0 \infty γ t C i ( s t , a t , s t + 1 )$ ≤ δ i , i = 1 , 2 , ... , k \mathbb{E}_{\pi}\left $\\sum_{t=0}\^{\\infty}\\gamma\^t C_i(s_t,a_t,s_{t+1})\\right$ \leq \delta_i,\quad i=1,2,\ldots,k Eπ $t=0\sum\inftyγtCi(st,at,st+1)$ ≤δi,i=1,2,...,k

其中：

R R R 表示任务奖励；
C i C_i Ci 表示第 i i i 个约束代价，例如电机约束、碰撞约束；
δ i \delta_i δi 表示该约束允许的上限；
γ \gamma γ 表示折扣因子；
π \pi π 表示待学习的控制策略。

4.1 观测空间

MUJICA 部署时使用 blind policy，因此 Actor 输入只包含本体感知：

o t = $ω t b , g t b , c m d t , q t , q ˙ t , a t - 1 , ζ t$ T o_t = $\\omega_t\^b,\\; g_t\^b,\\; cmd_t,\\; q_t,\\; \\dot{q}_t,\\; a_{t-1},\\; \\zeta_t$ ^T ot= $ωtb,gtb,cmdt,qt,q˙t,at-1,ζt$ T

各变量含义如下：

符号	含义
ω t b \omega_t^b ωtb	机体坐标系下的角速度
g t b g_t^b gtb	机体坐标系下的重力投影
c m d t cmd_t cmdt	速度指令
q t q_t qt	关节位置
q ˙ t \dot{q}_t q˙t	关节速度
a t − 1 a_{t-1} at−1	上一时刻动作
ζ t \zeta_t ζt	技能类型指示变量

4.2 特权状态空间

训练时 Critic 可以使用仿真中可获得的特权信息：

s t ≜ o t p r i v = $o t , v t , c t , u t , h t$ T s_t \triangleq o_t^{priv} = $o_t,\\; v_t,\\; c_t,\\; u_t,\\; h_t$ ^T st≜otpriv= $ot,vt,ct,ut,ht$ T

其中：

符号	含义
v t v_t vt	机体线速度
c t c_t ct	机器人各部位碰撞状态
u t u_t ut	轮-地距离
h t h_t ht	局部高程图

这种设计属于典型的 asymmetric actor-critic：Actor 部署时只用可测的本体感知，Critic 训练时利用仿真特权信息加速学习并提升稳定性。

4.3 动作空间与 PD 控制

动作 a t a_t at 对不同关节含义不同：

对腿部关节：动作表示相对默认姿态的角度偏移；
对轮关节：动作表示期望电机速度。

策略输出动作后，经 PD 控制器转换为目标力矩：

τ t i = { K d i ( q ˙ t i − a t i ) , i = wheel K p i ( q t i − a t i ) − K d i q ˙ t i , otherwise \tau_t^i = \begin{cases} K_d^i(\dot{q}_t^i - a_t^i), & i = \text{wheel} \\ K_p^i(q_t^i - a_t^i) - K_d^i\dot{q}_t^i, & \text{otherwise} \end{cases} τti={Kdi(q˙ti−ati),Kpi(qti−ati)−Kdiq˙ti,i=wheelotherwise

其中， τ t i \tau_t^i τti 表示第 i i i 个电机的目标力矩， K p i K_p^i Kpi 和 K d i K_d^i Kdi 分别表示刚度和阻尼系数。

5. 核心算法原理

5.1 状态估计器：从历史本体感知中推断隐含环境信息

MUJICA 不使用外部感知传感器，因此机器人无法直接看到台阶、高台边缘、坑洞或局部地形。为了解决这个问题，论文设计了一个基于历史观测的 State Estimator。

状态估计器输入过去 H = 6 H=6 H=6 帧观测，通过全连接网络和 GRU 编码时间依赖关系：

f t = GRU ( NN ( o t − H : t ) , f t − 1 ) f_t = \text{GRU}(\text{NN}(o_{t-H:t}), f_{t-1}) ft=GRU(NN(ot−H:t),ft−1)

估计器输出为：

f t = $v \^ t , c \^ t , u \^ t , e \^ t$ T f_t = $\\hat{v}_t,\\; \\hat{c}_t,\\; \\hat{u}_t,\\; \\hat{e}_t$ ^T ft= $v\^t,c\^t,u\^t,e\^t$ T

其中：

估计量	作用
v ^ t \hat{v}_t v^t	估计机体线速度，帮助策略理解当前运动状态和速度跟踪误差
c ^ t \hat{c}_t c^t	估计各部位碰撞概率，帮助判断是否接触到障碍或平台边缘
u ^ t \hat{u}_t u^t	估计轮-地距离，反映地形粗糙程度和轮腿接触关系
e ^ t \hat{e}_t e^t	潜在状态向量，用于编码难以显式描述的环境/动力学信息

状态估计器的损失函数由预测损失和对比学习损失组成：

L E s t i m a t e = L P r e d + L S w A V ( e t , e ^ t ) \mathcal{L}^{Estimate}=\mathcal{L}^{Pred}+\mathcal{L}^{SwAV}(e_t,\hat{e}_t) LEstimate=LPred+LSwAV(et,e^t)

L P r e d = L M S E ( v t , v ^ t ) + L B C E ( c t , c ^ t ) + L M S E ( u t , u ^ t ) \mathcal{L}^{Pred}=\mathcal{L}_{MSE}(v_t,\hat{v}t)+\mathcal{L}{BCE}(c_t,\hat{c}t)+\mathcal{L}{MSE}(u_t,\hat{u}_t) LPred=LMSE(vt,v^t)+LBCE(ct,c^t)+LMSE(ut,u^t)

这里的设计重点是：估计器不是只估计速度，而是同时估计速度、碰撞、轮地距离和潜在状态。这让策略能从本体信号中"间接感知"外界地形与接触关系。例如，高台攀爬时机器人可以通过机体/轮腿接触状态推断平台边缘，从而触发合适的攀爬动作。

5.2 非对称 Actor-Critic 与 P3O 约束强化学习

MUJICA 的低层控制采用非对称 Actor-Critic：

Actor 输入当前本体观测 o t o_t ot 和估计器输出 f t f_t ft，输出动作；
Reward Critic 使用特权状态评估任务回报；
Constraint Critic 使用特权状态评估约束违反情况。

为了处理安全约束，论文采用 P3O 框架，将带约束优化转化为惩罚形式的无约束优化：

L P 3 O ( θ ) = L R C L I P ( θ ) + κ ∑ i = 1 k max ⁡ { 0 , L C i C L I P ( θ ) } \mathcal{L}^{P3O}(\theta)=\mathcal{L}{R}^{CLIP}(\theta)+\kappa\sum{i=1}^{k}\max\{0,\mathcal{L}_{C_i}^{CLIP}(\theta)\} LP3O(θ)=LRCLIP(θ)+κi=1∑kmax{0,LCiCLIP(θ)}

其中：

L R C L I P \mathcal{L}_{R}^{CLIP} LRCLIP 是 PPO 风格的 clipped reward surrogate objective；
L C i C L I P \mathcal{L}_{C_i}^{CLIP} LCiCLIP 是第 i i i 类约束对应的 clipped constraint loss；
κ \kappa κ 是约束惩罚系数。

这种做法的实际意义是：策略不仅要"任务完成得好"，还要"动作不能违反安全约束"。对于轮足机器人而言，这一点很关键，因为高台攀爬或跌倒恢复常常需要接近电机极限，如果约束处理不好，仿真中可行的动作很容易在实物上触发电机保护。

5.3 技能指示变量：统一多技能策略的关键接口

为了让一个低层策略同时学习多个技能，论文引入技能指示变量 ζ t \zeta_t ζt。每个技能对应一个不同的 indicator，策略通过该变量区分当前任务类型。

三类技能对应关系为：

技能	训练目标	控制特点
全向移动	跟踪线速度和角速度	轮子主导，腿部负责稳定姿态和越障
高台攀爬	跟踪线速度并完成爬出台/坑动作	需要轮腿协同、前腿挂靠、后腿蓄力与抬升
跌倒恢复	从任意倒地姿态恢复站立	需要大姿态翻转和接触冲击利用

引入 ζ t \zeta_t ζt 的意义在于，它为同一个网络提供了明确的"技能条件"。否则，不同任务的奖励目标和动作模式会混在一起，容易出现策略混淆。例如，跌倒恢复需要利用身体接触和翻转，而全向移动则要避免机体碰撞；如果不告诉策略当前任务类型，网络很难同时学好这些相互冲突的动作模式。

5.4 多任务奖励与约束设计

论文列出的主要奖励和约束如下：

类型	公式/含义	适用任务
线速度跟踪奖励 R c m d v , t R_{cmdv,t} Rcmdv,t	exp ⁡ ( − ∥ c m d x y , t − v x y , t ∥ 2 / σ 2 ) \exp(-\lVert cmd_{xy,t}-v_{xy,t}\rVert^2/\sigma^2) exp(−∥cmdxy,t−vxy,t∥2/σ2)	全向移动、高台攀爬
角速度跟踪奖励 R c m d ω , t R_{cmd\omega,t} Rcmdω,t	exp ⁡ ( − ∥ c m d ω , t − ω z , t ∥ 2 / σ 2 ) \exp(-\lVert cmd_{\omega,t}-\omega_{z,t}\rVert^2/\sigma^2) exp(−∥cmdω,t−ωz,t∥2/σ2)	全向移动
重力方向奖励 R g r a v i t y , t R_{gravity,t} Rgravity,t	根据机体重力方向与世界重力方向夹角给奖励	跌倒恢复
姿态误差奖励 R p o s e r r , t R_{poserr,t} Rposerr,t	当机体姿态接近直立时，鼓励关节接近站立姿态	跌倒恢复
DC 电机约束 C D C − m o t o r , t C_{DC-motor,t} CDC−motor,t	统计各电机力矩是否超过速度/位置相关极限	三类任务
碰撞约束 C c o l l i s i o n , t C_{collision,t} Ccollision,t	对大腿、小腿等部位碰撞进行约束	全向移动、高台攀爬

这里有一个重要细节：论文对大腿和小腿施加碰撞约束，目的是鼓励机器人更多使用轮子与环境交互，而不是频繁用腿部连杆"硬蹭"障碍物。这符合轮足机器人的结构优势。

5.5 DC 电机约束：从"固定扭矩上限"改为"速度/位置相关扭矩上限"

传统强化学习控制中常见的电机约束是：

∣ τ t i ∣ ≤ τ m a x i |\tau_t^i| \leq \tau_{max}^i ∣τti∣≤τmaxi

但真实 DC 电机并不是任意速度下都能输出同样最大扭矩。一般情况下，电机低速时可以保持较高扭矩；速度升高后，可输出最大扭矩会下降。因此，MUJICA 使用速度相关的扭矩限制：

∣ τ t i ∣ ≤ τ l i m i t i ( q ˙ t i ) |\tau_t^i| \leq \tau_{limit}^i(\dot{q}_t^i) ∣τti∣≤τlimiti(q˙ti)

对于 calf joint，论文进一步指出其最大扭矩还受关节位置影响，因此可近似写为：

∣ τ t i ∣ ≤ τ l i m i t i ( q ˙ t i , q t i ) |\tau_t^i| \leq \tau_{limit}^i(\dot{q}_t^i, q_t^i) ∣τti∣≤τlimiti(q˙ti,qti)

图 3 DC 电机速度/位置相关扭矩约束。 左图表示不同关节的速度相关扭矩上限；右图表示 calf joint 在不同速度下的关节位置相关扭矩上限。该约束避免策略在高速度区间仍输出不现实的大力矩。

这个设计是论文的重要工程贡献。它让策略训练时就知道"真实电机做不到什么"，从而减少部署时的超限行为。尤其在高台攀爬这种接近电机能力边界的任务中，准确电机约束比单纯惩罚动作幅值更可靠。

5.6 高层技能选择器：从人工切换到本体感知自动切换

低层多技能策略训练完成后，MUJICA 进入第二阶段训练：冻结低层策略，训练高层 Skill Selector。

Skill Selector 的输入为过去 H H H 帧本体观测，但不包含技能指示变量 ζ t \zeta_t ζt：

o t − H : t ∖ ζ t o_{t-H:t}\setminus \zeta_t ot−H:t∖ζt

输出为各技能的概率分布：

p ( ζ t ∣ o t − H : t ) p(\zeta_t|o_{t-H:t}) p(ζt∣ot−H:t)

然后系统根据输出选择当前技能，并把对应的 ζ t \zeta_t ζt 送入低层 Actor。这样，机器人就可以在连续任务中自动完成：

倒地时选择跌倒恢复；
恢复站立后切换到全向移动；
接触到高台或坑洞边缘时切换到高台攀爬。

该设计相当于一个层级控制结构：低层负责"把每种技能做好"，高层负责"在合适时刻调用合适技能"。相比直接让一个没有指示变量的策略端到端学所有行为，这种方式更稳定，也更容易扩展。

6. 实验设计与训练设置

6.1 仿真平台与机器人

论文在 IsaacLab 中进行训练，使用 Unitree Go2-W 轮足机器人作为实验平台。主要训练配置如下：

项目	设置
并行环境数量	4096
GPU	单张 NVIDIA RTX 4090
低层控制频率	50 Hz
高层选择器频率	50 Hz
物理仿真频率	200 Hz
低层策略训练迭代数	30000
高层选择器训练迭代数	10000
跌倒恢复 episode	6 s，其中 2 s 随机姿态自由下落，4 s 恢复
其他任务 episode	20 s，发生机体碰撞则终止

6.2 课程学习地形设计

论文构建了一个 33 × 20 的网格化多任务环境：

行表示不同地形和任务组合；
列表示课程难度等级；
4096 个机器人被分配到不同地形/难度中并行训练。

在第一阶段训练 S1 中，系统显式给出每个机器人对应任务的正确技能指示变量。不同任务对应地形如下：

任务	地形设置
全向移动	楼梯、坡面、离散障碍、粗糙地形
跌倒恢复	楼梯、坡面、离散障碍、粗糙地形
高台攀爬	大坑/凹陷地形，要求机器人从坑中爬出，并支持任意方向攀爬

具体课程参数包括：

地形	参数
Stairs	台阶宽度 0.3 m，台阶高度 0.05 + 0.18 × l / 20 0.05 + 0.18 \times l/20 0.05+0.18×l/20 m
Slope	坡度 0.5 × l / 20 × 100 % 0.5 \times l/20 \times 100\% 0.5×l/20×100%
Discretized terrain	30 个矩形凸起，宽度 1-2 m，高度 0.05 + 0.17 × l / 20 0.05 + 0.17 \times l/20 0.05+0.17×l/20 m
Rough terrain	高度从 $0.04 , 0.12$ $0.04, 0.12$ $0.04,0.12$ m 均匀采样
Pit	2 m × 4 m 矩形坑，深度 0.05 + l / 20 0.05 + l/20 0.05+l/20 m

其中 l ∈ $1 , 20$ l \in $1,20$ l∈ $1,20$ 表示课程难度等级。

6.3 域随机化设置

为了提升 Sim-to-Real 鲁棒性，论文在训练中加入多项 domain randomization：

随机化项	范围
静摩擦系数	$0.6, 1.0$
动摩擦系数	$0.4, 0.8$
机体质量偏置	$-1.0, 3.0$ kg
外力扰动	每 2-3 s， $-10.0, 10.0$ N
推动扰动	每 8-12 s，在 x 或 y 方向施加 $-1.0, 1.0$ m/s 速度扰动
电机增益倍率	$0.8, 1.2$

这些随机化覆盖了接触摩擦、质量误差、外部扰动和电机增益误差，是强化学习控制进行实物迁移时常用且关键的工程手段。

7. 对比实验与消融实验分析

7.1 基线方法设置

论文比较了 MUJICA 与以下方法：

方法	含义
MUJICA	完整方法，包含速度估计、轮地距离估计、碰撞估计、DC 电机约束和技能选择器
MUJICA w/o Velocity	去掉机体线速度估计
MUJICA w/o Wheel Height	去掉轮-地距离估计
MUJICA w/o Collision	去掉机器人部位碰撞估计
DreamWaQ + P3O	使用 DreamWaQ 风格估计框架并加入约束学习
Vanilla PPO	只使用本体感知的普通 PPO

所有方法使用相同的地形课程和奖励函数，并在 5 个代表性任务、10 个难度等级上测试。每个方法使用 4 个随机种子，报告平均成功率和标准差。

图 4 不同算法在代表性任务上的成功率对比。 横轴为难度等级，纵轴为成功率。完整 MUJICA 在楼梯、坡面、跌倒恢复和高台攀爬等任务中整体表现最好，且在高难度下优势更明显。

7.2 结果解读

从图 4 可以看出：

完整 MUJICA 在整体任务中最稳定。随着难度上升，完整方法相较各类消融版本和基线方法保持更高成功率。
状态估计器的三个目标都有效。去掉速度估计、轮地距离估计或碰撞估计都会导致性能下降，说明轮足机器人在复杂地形上需要综合判断运动状态、接触状态和地形粗糙程度。
速度估计对非恢复任务尤其重要。全向移动和高台攀爬都需要准确理解当前运动状态，因此缺少速度估计会显著影响速度跟踪与动态调整。
Vanilla PPO 不适合复杂跌倒恢复。普通 PPO 只依赖当前本体状态，缺少历史隐状态估计，难以从随机倒地姿态中学出稳定恢复策略。
DreamWaQ + P3O 仍不如 MUJICA。这说明仅有隐状态估计和约束学习还不够，MUJICA 选择的估计目标，即速度、轮地距离、碰撞与潜在状态，更贴合轮足机器人的多技能控制需求。

8. DC 电机约束消融实验

论文专门分析了 DC 电机约束对安全性的影响。实验统计了不同地形下 thigh joints 的力矩-速度分布。

图 5 DC 电机约束前后的力矩-速度分布。 绿色区域表示满足 DC 电机约束的可行区域；蓝色点表示可行电机状态；红色叉表示违反约束的状态。上排为未加入 DC 电机约束的结果，下排为加入约束后的结果。

实验现象非常明显：

未加入 DC 电机约束时，多个关节超过 90% 的采样点落在可行区域之外，说明策略大量依赖真实电机无法持续输出的力矩；
未约束策略会出现持续振荡，高台攀爬时后腿 thigh joint 容易顶到正向关节极限；
关节顶到极限后继续向地面发力，会产生很大的力矩并可能直接触发真实机器人电机故障；
加入 DC 电机约束后，违反率下降到 3.5% 以下，关节行为更接近真实硬件可执行范围。

图 6 未加入 DC 电机约束时的高台攀爬风险。 后侧 thigh joint 处于关节极限附近，继续向地面推力会产生过大力矩，仿真中看似可以"跳起"，但实物上容易触发电机保护或故障。

该实验说明，MUJICA 的 DC 电机约束不是简单的附加工程细节，而是实物部署能否成功的关键条件。对于高动态轮足控制，策略不能只优化任务奖励，还必须知道真实电机在速度和位置变化下的可执行边界。

9. 技能选择器实验

为了验证高层 Skill Selector 的作用，论文设置了一个连续任务链：

楼梯跌倒恢复；
楼梯攀爬；
高台攀爬。

每次测试必须依次完成三个阶段才算成功，共进行 100 个 episode。对比方法包括：

方法	楼梯恢复	楼梯攀爬	高台攀爬
无技能指示变量，共享奖励	失败	失败	失败
无技能指示变量，分任务奖励	72%	72%	38%
带 Skill Selector，MUJICA	95%	95%	91%

表1 技能选择器顺序任务成功率。 不使用技能指示变量时，策略容易混淆任务目标；仅靠分任务奖励仍难以完成高台攀爬。使用技能指示变量和高层 Skill Selector 后，三个阶段均取得更高成功率。

该实验的结论很直接：多技能学习不能只靠奖励工程堆出来，必须让策略明确区分任务语义，并通过高层模块在连续环境中自动调用合适技能。

10. 实物实验与 Sim-to-Real 验证

MUJICA 最终部署到 Unitree Go2-W 实物机器人上，机载计算平台为 NVIDIA Jetson Orin NX。实物实验主要验证两点：

单项技能能否在真实复杂场景中稳定执行；
技能选择器能否在连续任务中自动切换技能。

图 7 MUJICA 单项技能实物验证。 上排为楼梯上的跌倒恢复；中排为 20 cm 高台阶上行；下排为 80 cm 高户外平台攀爬。

实物结果包括：

在 30° 楼梯上，机器人可以从倒置姿态通过小腿敲击和机体翻转恢复站立；
在不规则边缘和不同高度的楼梯上，机器人能够稳定上行；
在高台攀爬任务中，机器人可攀上 80 cm 户外平台，并在室内完成 1 m 高台攀爬；
高台攀爬过程中，后腿 thigh joints 下蹲蓄能，前腿伸展挂靠平台，随后协调抬升后腿，体现了完整的轮-腿协同；
实物实验中电机保护机制未被触发，说明 DC 电机约束对硬件安全有实际帮助。

连续任务中，机器人可以从随机倒地姿态开始，先执行恢复，再通过楼梯和坡道，最后攀爬 60 cm 高平台。技能选择器根据本体感知自动切换：倒地触发恢复，站稳后切换到全向移动，接触高台后切换到高台攀爬。

11. 主要创新点与学术贡献

11.1 面向轮足机器人的统一多技能本体感知策略

论文不是为每个任务单独训练一个策略，而是通过技能指示变量让一个统一策略同时掌握全向移动、高台攀爬和跌倒恢复。这降低了多策略部署和人工切换的复杂度，也为轮足机器人多技能控制提供了清晰的统一范式。

11.2 状态估计目标更贴合轮足机器人需求

MUJICA 同时估计机体线速度、轮地距离、部位碰撞和潜在状态。这些量直接对应轮足机器人的关键控制需求：速度跟踪、轮腿接触、地形粗糙程度、障碍/平台接触判断。相比只估计速度或隐变量的方式，它对高台攀爬和跌倒恢复更有针对性。

11.3 精确 DC 电机约束提升实物安全性

论文将电机速度相关、部分关节位置相关的真实扭矩边界作为硬约束加入训练，避免策略学习到真实电机无法执行的动作。该设计对于"接近硬件极限"的高台攀爬尤其关键，是本文区别于很多强化学习控制工作的核心工程贡献之一。

11.4 高层 Skill Selector 实现自动技能切换

MUJICA 的高层选择器只依赖本体感知，不使用外部视觉或人为规则，就能在跌倒恢复、全向移动和高台攀爬之间切换。这提高了系统在连续非结构化环境中的自主性。

11.5 完整仿真与实物验证闭环

论文不仅在仿真中做了基线对比、消融和约束分析，还在真实 Unitree Go2-W 上验证了楼梯恢复、楼梯上行、高平台攀爬和连续多技能切换，证明该方法具备较强 Sim-to-Real 价值。

12. 方法局限与可改进方向

尽管 MUJICA 展现了较强性能，但仍有一些局限：

完全依赖本体感知，缺少远距离预判能力。机器人只能通过接触、姿态变化和历史状态推断环境，难以提前规划更远处障碍。
技能集合仍然有限。当前主要覆盖全向移动、高台攀爬和跌倒恢复，未来还可扩展到跳跃、狭窄通道穿越、动态障碍避让等更多技能。
高平台攀爬依赖平台几何和机器人结构能力。1 m 高台攀爬接近 Go2-W 机械和驱动极限，迁移到其他机器人时需要重新建模电机约束和训练课程。
未确认官方代码开源。项目页提供论文与视频演示，但没有确认到官方 GitHub 仓库，因此复现实验仍需要研究者自行实现训练环境、奖励、约束与网络结构。
真实场景泛化仍需更多测试。论文展示了楼梯、坡道、高台等场景，但在湿滑、松软、强冲击、动态障碍等环境下的稳定性还需要进一步验证。

未来可以考虑把 MUJICA 与外部感知、局部规划器或地形重建模块结合，让高层策略不仅能基于本体感知切换技能，还能基于前方地形提前决策。

13. 总结

MUJICA 的核心价值在于，它把轮足机器人控制中的三个关键问题放在一个统一框架下解决：

多技能统一学习：通过技能指示变量让同一个低层策略掌握全向移动、高台攀爬和跌倒恢复；
本体感知隐状态推断：通过 GRU 状态估计器从历史本体信息中估计速度、碰撞、轮地距离和潜在环境状态；
真实硬件安全迁移：通过 DC 电机速度/位置相关扭矩约束，使策略更接近真实电机可执行范围；
自动技能切换：通过高层 Skill Selector 在连续复杂任务中自主调用不同技能。

从研究意义上看，MUJICA 为轮足机器人提供了一种较完整的"本体感知多技能控制 + 安全约束强化学习 + 实物迁移"方案。它不仅强调强化学习策略的成功率，也强调真实电机能力边界和实物部署安全性，这对于轮足机器人从仿真走向真实复杂环境具有较强参考价值。

14. 参考链接

论文 PDF：https://arxiv.org/pdf/2605.13058
arXiv 摘要页：https://arxiv.org/abs/2605.13058
项目主页：https://hyzenthlayer.github.io/mujica/