前言
- 强化学习的价值不仅在于算法本身,更在于解决复杂实际问题。在四足机器人领域,结合具体任务与应用场景,才能更深入地理解算法的设计思想与应用价值
- 区别于另一个系列四足强化学习经典算法,本系列 【四足RL-Mimic经典算法】 将重点关注基于强化学习的运动模仿(Motion Imitation)与技能学习(Skill Learning),围绕经典论文与开源实现,分析如何利用动作数据学习自然、多样且可复用的运动技能
- 本期我们将从 Mimic 算法的起源 DeepMimic 开始,先梳理它的原理,再配合开源代码框架 MimicKit 说明具体实现
需要说明的是,本系列大部分 Mimic 算法具有通用性,并不局限于四足机器人,尽管论文实验多以人形角色为主,但其核心的「参考动作 + 模仿奖励 + 策略学习」范式同样适用于四足机器人,迁移时主要调整角色模型与动作数据。
文章目录
-
- 前言
- [1 运动模仿(Motion Imitation)与技能学习(Skill Learning)](#1 运动模仿(Motion Imitation)与技能学习(Skill Learning))
-
-
- [1-1 什么是运动模仿与技能学习](#1-1 什么是运动模仿与技能学习)
- [1-2 运动捕捉数据(Motion Capture)](#1-2 运动捕捉数据(Motion Capture))
- [1-3 基于强化学习的运动模仿基本框架](#1-3 基于强化学习的运动模仿基本框架)
- [1-4 Motion Tracking 与 Motion Prior 的区别](#1-4 Motion Tracking 与 Motion Prior 的区别)
- [1-5 从动作跟踪到通用技能学习](#1-5 从动作跟踪到通用技能学习)
-
- [2 DeepMimic](#2 DeepMimic)
-
-
- [2-1 论文介绍](#2-1 论文介绍)
- [2-2 整体框架](#2-2 整体框架)
- [2-3 运动模仿任务建模](#2-3 运动模仿任务建模)
- [2-4 状态空间与动作空间](#2-4 状态空间与动作空间)
- [2-5 参考动作与运动跟踪](#2-5 参考动作与运动跟踪)
- [2-6 奖励函数设计](#2-6 奖励函数设计)
- [2-7 PPO 策略优化](#2-7 PPO 策略优化)
- [2-8 论文结果与实验](#2-8 论文结果与实验)
-
- [3 MimicKit:运动模仿算法的统一实现框架](#3 MimicKit:运动模仿算法的统一实现框架)
-
-
- [3-1 MimicKit 项目介绍与环境搭建](#3-1 MimicKit 项目介绍与环境搭建)
- [3-2 整体工程架构](#3-2 整体工程架构)
- [3-3 DeepMimic 核心代码解析](#3-3 DeepMimic 核心代码解析)
- [3-4 参考动作数据处理](#3-4 参考动作数据处理)
- [3-5 训练流程与关键参数](#3-5 训练流程与关键参数)
- [3-6 仿真结果与论文对照](#3-6 仿真结果与论文对照)
-
- 总结
1 运动模仿(Motion Imitation)与技能学习(Skill Learning)
1-1 什么是运动模仿与技能学习

- 运动模仿(Motion Imitation)指给定一段已经存在的参考运动,训练控制策略在物理仿真中复现它。参考运动通常来自动作捕捉数据,也可以来自手工关键帧
- 与动画中的关键帧插值不同,运动模仿的输出不是一个位姿序列,而是一个闭环策略:策略在每个控制周期读取当前状态,输出该时刻的关节指令,因此仿真角色可以偏离参考、可以摔倒,也可以自我恢复
- 这套方法的本质,是把"由人设计控制律"替换为"由数据定义目标,由强化学习搜索控制律"
- 技能学习(Skill Learning)在此基础上更进一步:当参考运动不止一段,或者需要按指令切换技能时,问题从"复现一个动作"变成"管理一个技能库"
- 三种问题类型可以对照如下,它们并非严格的层级关系,而是可以相互组合的目标维度
| 问题类型 | 输入 | 输出 | 关注点 |
|---|---|---|---|
| 运动模仿 | 单一参考片段 | 复现该片段的策略 | 跟踪精度、物理合理性 |
| 技能学习 | 多段参考片段或技能指令 | 可切换、可组合的技能库 | 泛化能力、切换过渡 |
| 任务学习 | 任务奖励函数 | 完成任务的策略 | 目标达成率 |
- 三类问题共享同一套基础设施:参考动作的表示、物理仿真、策略网络与优化算法。差别落在奖励函数怎么写、观测里放什么条件、以及训练时如何混合多个目标
- 任务学习不是更高的第三层:DeepMimic 本身就把模仿奖励与任务奖励加权相加(见 2-6 节),任务目标可以与模仿目标或技能目标并置,所以上面的分组按"问题类型"而不是"层级"来理解
1-2 运动捕捉数据(Motion Capture)

- 运动捕捉(Motion Capture,动作捕捉)是把真实运动的位姿逐帧记录下来。常见的三类来源是光学动捕、惯性动捕与人工关键帧
- 无论来源如何,数据进入仿真前都要经过重定向(Retargeting) :
- 把源角色的骨骼长度与关节定义映射到目标模型上。人形数据迁移到四足时会失效,因为拓扑结构完全不同,这也是后续方法要处理"动作数据从哪来"的原因
- 数据的基本形态是逐帧记录各刚体的位置与朝向,配合关节角序列。DeepMimic 使用的片段长度大约在 0.5 ∼ 5 0.5\sim 5 0.5∼5 s 之间,取自公开的动作捕捉数据库
- 参考动作有两个天然缺陷,后文的设计几乎都是围绕它们展开的
- 参考动作的位姿序列在时间上是离散的,与仿真中的连续动力学之间不存在严格的一一对应
- 原始动捕数据不保证与目标仿真角色的动力学和接触约束一致,直接播放会穿模、打滑,无法作为控制指令使用
说人话:录像是"看起来对",但放到物理世界里跑不动,运动模仿要做的就是把它变成一个能真的跑起来的控制器
1-3 基于强化学习的运动模仿基本框架
- 强化学习(Reinforcement Learning,RL)把控制问题写成 MDP:智能体在状态 s t s_t st 下按策略 π θ \pi_\theta πθ 采样动作 a t a_t at,环境按转移概率 p ( s t + 1 ∣ s t , a t ) p(s_{t+1}\mid s_t,a_t) p(st+1∣st,at) 给出下一状态与奖励 r t r_t rt
- 策略优化的目标是最大化折扣累积回报 J ( θ ) = E τ ∼ p θ ( τ ) ∑ t = 0 T γ t r t p θ ( τ ) = p ( s 0 ) ∏ t = 0 T − 1 p ( s t + 1 ∣ s t , a t ) π θ ( a t ∣ s t ) \begin{aligned}J(\theta)&=\mathbb{E}{\tau\sim p\theta(\tau)}\left\\sum_{t=0}\^{T}\\gamma\^{t}r_t\\right\\p_\theta(\tau)&=p(s_0)\prod_{t=0}^{T-1}p(s_{t+1}\mid s_t,a_t)\,\pi_\theta(a_t\mid s_t)\end{aligned} J(θ)pθ(τ)=Eτ∼pθ(τ)t=0∑Tγtrt=p(s0)t=0∏T−1p(st+1∣st,at)πθ(at∣st)其中:
- T T T:回合长度,运动模仿中通常取固定时域
- γ ∈ 0 , 1 \gamma\in0,1 γ∈0,1:折扣因子,用于把无限时域回报压成有限值
- π θ \pi_\theta πθ:参数为 θ \theta θ 的策略,输入状态,输出动作分布
- p θ ( τ ) p_\theta(\tau) pθ(τ):策略诱导的轨迹分布
- 策略梯度给出了参数更新的方向 ∇ θ J ( θ ) = E τ ∼ p θ ( τ ) ∑ t = 0 T ∇ θ log π θ ( a t ∣ s t ) A t π \nabla_\theta J(\theta)=\mathbb{E}{\tau\sim p\theta(\tau)}\left\\sum_{t=0}\^{T}\\nabla_\\theta\\log\\pi_\\theta(a_t\\mid s_t)\\,A\^{\\pi}_t\\right ∇θJ(θ)=Eτ∼pθ(τ)t=0∑T∇θlogπθ(at∣st)Atπ其中:
- A t π A^{\pi}_t Atπ:优势函数,衡量动作 a t a_t at 相对平均水平的优劣
- 整个闭环可以画成下图,后面讨论的任何方法都只是替换其中的某个方框
#mermaid-svg-JzEr2Ta99y2wdfC7{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-JzEr2Ta99y2wdfC7 .error-icon{fill:#552222;}#mermaid-svg-JzEr2Ta99y2wdfC7 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-JzEr2Ta99y2wdfC7 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .marker.cross{stroke:#333333;}#mermaid-svg-JzEr2Ta99y2wdfC7 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-JzEr2Ta99y2wdfC7 p{margin:0;}#mermaid-svg-JzEr2Ta99y2wdfC7 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .cluster-label text{fill:#333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .cluster-label span{color:#333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .cluster-label span p{background-color:transparent;}#mermaid-svg-JzEr2Ta99y2wdfC7 .label text,#mermaid-svg-JzEr2Ta99y2wdfC7 span{fill:#333;color:#333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .node rect,#mermaid-svg-JzEr2Ta99y2wdfC7 .node circle,#mermaid-svg-JzEr2Ta99y2wdfC7 .node ellipse,#mermaid-svg-JzEr2Ta99y2wdfC7 .node polygon,#mermaid-svg-JzEr2Ta99y2wdfC7 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-JzEr2Ta99y2wdfC7 .rough-node .label text,#mermaid-svg-JzEr2Ta99y2wdfC7 .node .label text,#mermaid-svg-JzEr2Ta99y2wdfC7 .image-shape .label,#mermaid-svg-JzEr2Ta99y2wdfC7 .icon-shape .label{text-anchor:middle;}#mermaid-svg-JzEr2Ta99y2wdfC7 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-JzEr2Ta99y2wdfC7 .rough-node .label,#mermaid-svg-JzEr2Ta99y2wdfC7 .node .label,#mermaid-svg-JzEr2Ta99y2wdfC7 .image-shape .label,#mermaid-svg-JzEr2Ta99y2wdfC7 .icon-shape .label{text-align:center;}#mermaid-svg-JzEr2Ta99y2wdfC7 .node.clickable{cursor:pointer;}#mermaid-svg-JzEr2Ta99y2wdfC7 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .arrowheadPath{fill:#333333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-JzEr2Ta99y2wdfC7 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-JzEr2Ta99y2wdfC7 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-JzEr2Ta99y2wdfC7 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-JzEr2Ta99y2wdfC7 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-JzEr2Ta99y2wdfC7 .cluster text{fill:#333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .cluster span{color:#333;}#mermaid-svg-JzEr2Ta99y2wdfC7 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-JzEr2Ta99y2wdfC7 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-JzEr2Ta99y2wdfC7 rect.text{fill:none;stroke-width:0;}#mermaid-svg-JzEr2Ta99y2wdfC7 .icon-shape,#mermaid-svg-JzEr2Ta99y2wdfC7 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-JzEr2Ta99y2wdfC7 .icon-shape p,#mermaid-svg-JzEr2Ta99y2wdfC7 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-JzEr2Ta99y2wdfC7 .icon-shape .label rect,#mermaid-svg-JzEr2Ta99y2wdfC7 .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-JzEr2Ta99y2wdfC7 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-JzEr2Ta99y2wdfC7 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-JzEr2Ta99y2wdfC7 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 状态 s_t
策略网络
动作 a_t
物理仿真
奖励 r_t
策略更新
- 三类要素在运动模仿中的具体含义,直接决定了方法的形态
- 状态:本体感觉(关节角、角速度、重力方向)加上与参考动作相关的信息
- 动作:关节力矩,或作用在关节上的位置控制目标
- 奖励:与参考动作的相似度,加上任务本身的完成度
1-4 Motion Tracking 与 Motion Prior 的区别
- 动作跟踪(Motion Tracking)把参考动作当作逐帧的监督信号:参考位姿既进入观测(作为条件),也进入奖励(作为目标)。策略本质上是一个条件在参考轨迹上的控制器
- 动作先验(Motion Prior)只要求学到的运动"像"数据里的运动,不要求逐帧对齐。参考数据在训练中被用于训练一个判别器或编码器,策略通过这个判别器获得风格约束,任务奖励主导行为。这里的"训练判别器"指先验本身的训练阶段,策略训练时仍会接收判别器给出的风格奖励,或编码器提供的潜变量条件
- 两者的差异可以归结为参考动作进入系统的位置不同
| 维度 | 动作跟踪 | 动作先验 |
|---|---|---|
| 参考动作的用法 | 逐帧进入观测与奖励 | 用于训练判别器或编码器,策略侧间接使用 |
| 策略的条件输入 | 相位、目标姿态 | 任务指令、潜变量 |
| 奖励来源 | 与参考的姿态、速度误差 | 判别器给出的"像不像"分数 |
| 代表方法 | DeepMimic,以及 MimicKit 中的跟踪类预设 | AMP、ASE、CALM |
| 优势 | 复现精度高,可复现高动态动作 | 泛化强,可组合多种风格 |
| 代价 | 依赖高质量参考片段 | 训练稳定性差,风格难以精确控制 |
说人话:跟踪派是"照着录像打分",一分一秒都对得上;先验派是"不要求像某一段,只要求看起来像那么回事"
- DeepMimic 属于典型的跟踪派。理解它的奖励结构之后,后面 AMP 把手工奖励换成判别器、ASE 再往条件输入里塞潜变量,改变的是什么就一目了然了
1-5 从动作跟踪到通用技能学习
- 从 DeepMimic 出发,这条线分成若干演化方向,本文只讨论跟踪主线的起点,其余留待后续各期
#mermaid-svg-3I2Nxt6Nniw9Nx5S{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .error-icon{fill:#552222;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .marker{fill:#333333;stroke:#333333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .marker.cross{stroke:#333333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S p{margin:0;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .cluster-label text{fill:#333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .cluster-label span{color:#333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .cluster-label span p{background-color:transparent;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .label text,#mermaid-svg-3I2Nxt6Nniw9Nx5S span{fill:#333;color:#333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .node rect,#mermaid-svg-3I2Nxt6Nniw9Nx5S .node circle,#mermaid-svg-3I2Nxt6Nniw9Nx5S .node ellipse,#mermaid-svg-3I2Nxt6Nniw9Nx5S .node polygon,#mermaid-svg-3I2Nxt6Nniw9Nx5S .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .rough-node .label text,#mermaid-svg-3I2Nxt6Nniw9Nx5S .node .label text,#mermaid-svg-3I2Nxt6Nniw9Nx5S .image-shape .label,#mermaid-svg-3I2Nxt6Nniw9Nx5S .icon-shape .label{text-anchor:middle;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .rough-node .label,#mermaid-svg-3I2Nxt6Nniw9Nx5S .node .label,#mermaid-svg-3I2Nxt6Nniw9Nx5S .image-shape .label,#mermaid-svg-3I2Nxt6Nniw9Nx5S .icon-shape .label{text-align:center;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .node.clickable{cursor:pointer;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .arrowheadPath{fill:#333333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-3I2Nxt6Nniw9Nx5S .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-3I2Nxt6Nniw9Nx5S .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .cluster text{fill:#333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .cluster span{color:#333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S rect.text{fill:none;stroke-width:0;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .icon-shape,#mermaid-svg-3I2Nxt6Nniw9Nx5S .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .icon-shape p,#mermaid-svg-3I2Nxt6Nniw9Nx5S .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .icon-shape .label rect,#mermaid-svg-3I2Nxt6Nniw9Nx5S .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-3I2Nxt6Nniw9Nx5S .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-3I2Nxt6Nniw9Nx5S :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 动作数据 + 物理控制 + 策略学习
DeepMimic 2018: 逐帧参考动作与模仿奖励
AMP 2021: 判别器替代手工奖励
ASE 2022: 隐变量与技能潜空间
CALM 2023: 潜空间可控化
MaskedMimic 2024: 掩码与大规模动作数据
SuperMimic: 世界模型与速度接口
-
图中的连线表示研究脉络,不表示严格的继承关系:跟踪主线从 DeepMimic 经 AMP、ASE 到 CALM 逐层替换奖励与条件输入,MaskedMimic 与 SuperMimic 则从同一套基础框架单独分出,研究问题与技术路线与主线并不相同
-
几条路线分别解决不同的问题
- 奖励工程:AMP 用对抗判别器替代四项手工奖励,减少调参负担
- 技能表达:ASE 与 CALM 引入潜变量,让一个策略覆盖多种技能并支持上层控制
- 数据规模与建模:MaskedMimic 用掩码与大规模动作数据降低对完整轨迹的依赖,SuperMimic 用可微世界模型把模仿目标接到速度接口上
-
这些方法都围绕动作数据、物理控制与策略学习展开,但参考动作在训练中的使用方式各不相同:有的逐帧跟踪,有的用判别器学习运动先验,有的通过潜变量或条件输入实现技能控制。把这一篇读透,后面每一篇的改动都可以定位到它替换了其中的哪一环
2 DeepMimic
2-1 论文介绍
- 本文讨论的论文发表于 2018 年,基本信息如下
| 项 | 内容 |
|---|---|
| 论文 | DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills |
| 发表 | ACM Transactions on Graphics 37(4),SIGGRAPH 2018 |
| 作者 | Xue Bin Peng、Pieter Abbeel、Sergey Levine、Michiel van de Panne |
| 实验对象 | Humanoid、Atlas 机器人、T-Rex、Dragon 四类角色 |
- 论文的贡献可以归纳为四点
- 用参考动作定义模仿奖励,让策略在物理仿真中复现高动态技能,例如空翻、旋风踢、翻墙上台
- 把任务奖励与模仿奖励线性组合,使角色在做任务的同时保持动作风格
- 提出参考状态初始化(Reference State Initialization,RSI)与提前终止(Early Termination,ET)两个训练设计,并给出消融证据
- 给出多片段整合的三种方案:多片段奖励、技能选择器、复合策略

- 图 1 是论文首页的高速动作展示,左侧为人体角色完成侧手翻,右侧为 Atlas 机器人完成旋风踢。这类动作的特点是接触时间短、身体腾空,对策略的时序协调要求很高
2-2 整体框架
-
系统的三个输入是角色模型、参考动作片段与任务奖励函数,输出是一个神经网络策略
-
参考运动被表示为一串目标姿态 { q ^ t } \{\hat q_t\} {q^t},其下标 t t t 指参考时间轴。策略在每个控制周期接收当前状态 s t s_t st 与任务目标 g t g_t gt,输出动作 a t a_t at π θ ( a t ∣ s t , g t ) \pi_\theta(a_t\mid s_t,g_t) πθ(at∣st,gt)其中:
- s t s_t st:角色当前状态,包括关节角、角速度、根位姿与相位
- g t g_t gt:任务目标,例如目标朝向、击打位置;没有任务时该项为空
- a t a_t at:各关节的位置控制目标,由比例微分(Proportional-Derivative,PD)控制器转换为力矩
-
参考运动与任务目标分别定义了两种奖励:模仿奖励 r t I r^{I}_t rtI 衡量状态与参考动作的接近程度,任务奖励 r t G r^{G}_t rtG 衡量任务完成度。整体数据流如下
#mermaid-svg-i4uU250IwwJgzP0R{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-i4uU250IwwJgzP0R .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-i4uU250IwwJgzP0R .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-i4uU250IwwJgzP0R .error-icon{fill:#552222;}#mermaid-svg-i4uU250IwwJgzP0R .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-i4uU250IwwJgzP0R .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-i4uU250IwwJgzP0R .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-i4uU250IwwJgzP0R .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-i4uU250IwwJgzP0R .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-i4uU250IwwJgzP0R .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-i4uU250IwwJgzP0R .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-i4uU250IwwJgzP0R .marker{fill:#333333;stroke:#333333;}#mermaid-svg-i4uU250IwwJgzP0R .marker.cross{stroke:#333333;}#mermaid-svg-i4uU250IwwJgzP0R svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-i4uU250IwwJgzP0R p{margin:0;}#mermaid-svg-i4uU250IwwJgzP0R .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-i4uU250IwwJgzP0R .cluster-label text{fill:#333;}#mermaid-svg-i4uU250IwwJgzP0R .cluster-label span{color:#333;}#mermaid-svg-i4uU250IwwJgzP0R .cluster-label span p{background-color:transparent;}#mermaid-svg-i4uU250IwwJgzP0R .label text,#mermaid-svg-i4uU250IwwJgzP0R span{fill:#333;color:#333;}#mermaid-svg-i4uU250IwwJgzP0R .node rect,#mermaid-svg-i4uU250IwwJgzP0R .node circle,#mermaid-svg-i4uU250IwwJgzP0R .node ellipse,#mermaid-svg-i4uU250IwwJgzP0R .node polygon,#mermaid-svg-i4uU250IwwJgzP0R .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-i4uU250IwwJgzP0R .rough-node .label text,#mermaid-svg-i4uU250IwwJgzP0R .node .label text,#mermaid-svg-i4uU250IwwJgzP0R .image-shape .label,#mermaid-svg-i4uU250IwwJgzP0R .icon-shape .label{text-anchor:middle;}#mermaid-svg-i4uU250IwwJgzP0R .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-i4uU250IwwJgzP0R .rough-node .label,#mermaid-svg-i4uU250IwwJgzP0R .node .label,#mermaid-svg-i4uU250IwwJgzP0R .image-shape .label,#mermaid-svg-i4uU250IwwJgzP0R .icon-shape .label{text-align:center;}#mermaid-svg-i4uU250IwwJgzP0R .node.clickable{cursor:pointer;}#mermaid-svg-i4uU250IwwJgzP0R .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-i4uU250IwwJgzP0R .arrowheadPath{fill:#333333;}#mermaid-svg-i4uU250IwwJgzP0R .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-i4uU250IwwJgzP0R .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-i4uU250IwwJgzP0R .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-i4uU250IwwJgzP0R .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-i4uU250IwwJgzP0R .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-i4uU250IwwJgzP0R .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-i4uU250IwwJgzP0R .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-i4uU250IwwJgzP0R .cluster text{fill:#333;}#mermaid-svg-i4uU250IwwJgzP0R .cluster span{color:#333;}#mermaid-svg-i4uU250IwwJgzP0R div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-i4uU250IwwJgzP0R .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-i4uU250IwwJgzP0R rect.text{fill:none;stroke-width:0;}#mermaid-svg-i4uU250IwwJgzP0R .icon-shape,#mermaid-svg-i4uU250IwwJgzP0R .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-i4uU250IwwJgzP0R .icon-shape p,#mermaid-svg-i4uU250IwwJgzP0R .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-i4uU250IwwJgzP0R .icon-shape .label rect,#mermaid-svg-i4uU250IwwJgzP0R .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-i4uU250IwwJgzP0R .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-i4uU250IwwJgzP0R .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-i4uU250IwwJgzP0R :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 参考片段 q_hat_t
相位 phi
模仿奖励 r_I
角色状态 s_t
策略网络
任务目标 g_t
动作 a_t
PD 控制器
物理仿真 1.2 kHz
任务奖励 r_G
总奖励
PPO 更新
说人话:参考片段告诉机器人"应该长什么样",任务目标告诉它"要干什么",两路奖励加在一起,一边学动作一边学做事
- 如果把整套方法压缩成一句话,DeepMimic 就是:PPO + 参考动作跟踪 + 模仿奖励 + RSI 与 ET
- PPO:负责优化,本身没有做任何针对运动模仿的改动
- 参考动作跟踪:参考片段给出每一时刻的目标姿态,策略逐帧对齐
- 模仿奖励:把"像不像"变成四项可计算的分数
- RSI 与 ET:决定样本从哪里开始、在哪里截断,是高动态技能能学起来的前提
- 这一节只画轮廓,后面的小节按这四个部分逐层具体化:
- 2-3:把"复现参考动作"写成 MDP,确定优化目标的形态
- 2-4:定义状态与动作,也就是策略的输入与输出
- 2-5:说明参考动作在训练中如何被利用,包括相位推进、RSI 与 ET
- 2-6:把"接近参考"写成可计算的奖励分数
- 2-7 与 2-8:给出优化算法与实验结果
- 前后两节的关系是"上一节留下待定的量,下一节把它填实",而不是并列罗列
2-3 运动模仿任务建模
- 承接 2-2 节的轮廓,建模的第一步是把问题写成 MDP。每个回合是一个固定时域的 MDP,回合在超时、任务成功或触发提前终止时结束
- 单步奖励由模仿项与任务项线性加权得到 r t = ω I r t I + ω G r t G r_t=\omega^{I}r^{I}_t+\omega^{G}r^{G}_t rt=ωIrtI+ωGrtG其中:
- ω I \omega^{I} ωI:模仿奖励权重,论文实验中取 0.7 0.7 0.7
- ω G \omega^{G} ωG:任务奖励权重,论文实验中取 0.3 0.3 0.3
- 优化目标与 1-3 节给出的标准形式一致,区别在于奖励函数由两部分组成,且初始状态不再固定
- 初始状态的采样方式正是 RSI(见 2-5 节):每回合开始时,从一个参考片段中均匀采样一个时刻,把角色直接放到该时刻的参考状态上。这一项决定了训练能否覆盖高动态技能的中间阶段
- 需要注意,任务目标 g t g_t gt 既可以由训练脚本随机生成,也可以在运行时由人给定。前者用于训练策略的泛化能力,后者对应部署时的交互接口
- 这一节只确定了奖励的分解骨架(模仿项加任务项),单项怎么计算留到 2-6 节;状态与动作也还没有定义,下一节补上
2-4 状态空间与动作空间
- 2-3 节的 MDP 只声明了状态与动作的存在,本节确定它们包含什么,也就是策略的输入输出接口
- 状态由角色的本体特征构成,全部在角色的局部坐标系下表达:根节点位于原点, x x x 轴沿根节点的朝向
- 状态特征分三类
- 相对位置:每个连杆相对根节点的位置
- 旋转:每个连杆的朝向,用四元数表示
- 运动学量:每个连杆的线速度与角速度
- 把这些特征拼成一个向量,就是策略的观测。观测由三部分拼接而成:本体状态特征、相位、任务目标 o t = f ( s t ) ; ϕ t ; g t o_t=\left\\,f(s_t);\\ \\phi_t;\\ g_t\\,\\right ot=f(st); ϕt; gt其中:
- f ( s t ) f(s_t) f(st):本体状态特征,下文角色表中"状态维数"一列指的就是这一部分
- ϕ t \phi_t ϕt:相位,标量或三角函数编码,见下文的定义
- g t g_t gt:任务目标,没有任务时为空,有任务时维度随任务类型变化
说人话:策略的输入包含三个信息:我现在是什么状态、参考动作进行到了哪里、我需要完成什么任务。
- 观测全部在局部坐标系下表达,与角色的全局朝向、绝对位置无关,因此同一个策略可以用于不同初始朝向的回合
- 策略是无记忆的前馈网络,不堆叠历史帧。时序信息只靠相位提供,这与后续用循环网络或 Transformer 建模历史的方法形成对比
- 参考动作在时间轴上推进,需要告诉策略"当前处在片段的哪个位置",这个时间量就是相位 ϕ ∈ 0 , 1 \phi\in0,1 ϕ∈0,1。片段起点对应 ϕ = 0 \phi=0 ϕ=0,终点对应 ϕ = 1 \phi=1 ϕ=1,周期动作在片段结束时回绕到 0 0 0 ϕ t = t T m o d m o d 1 \phi_t=\frac{t}{T_{\mathrm{mod}}}\bmod 1 ϕt=Tmodtmod1其中:
- t t t:片段内的当前时刻
- T m o d T_{\mathrm{mod}} Tmod:片段的周期或总长度
- 为避免相位在回绕处出现跳变,现代实现送入网络的是它的三角函数编码 ( sin 2 π ϕ t , cos 2 π ϕ t ) \left(\sin 2\pi\phi_t,\ \cos 2\pi\phi_t\right) (sin2πϕt, cos2πϕt)。论文正文只说明相位作为状态特征之一,三角函数编码属于实现层的处理(见 3-3 节);相机位姿、周期运动这类量也常用同样的方式消除不连续
说人话:相位就是"这段动作放到了第几秒",用正弦余弦表示是因为秒数会从末尾跳回开头,而圆的转角不会
- 对应的实现如下,相位先做归一化除法,再拼上多频正弦余弦编码
python
# 相位:当前时刻 / 片段长度,循环片段取小数部分,非循环片段截断到 1
def calc_motion_phase(motion_time, motion_len, loop_mode):
phase = motion_time / motion_len
phase = torch.where(loop_mode == WRAP, phase - torch.floor(phase), phase)
return phase.clip(0.0, 1.0)
# 相位特征:原始相位 + 2^k 倍频的正弦余弦
def compute_phase_obs(phase, num_freq=4):
obs = [phase.unsqueeze(-1)]
if num_freq > 0:
# 频率按 2 的幂次增长,等价于给相位做位置编码
freq = 2.0 * math.pi * torch.pow(2.0, torch.arange(num_freq))
val = phase.unsqueeze(-1) * freq
obs += [torch.sin(val), torch.cos(val)]
return torch.cat(obs, dim=-1)
-
动作空间不是力矩,而是各关节的位置控制目标
- 球铰关节:目标朝向用轴角表示
- 转动关节:目标角用标量表示
- PD 控制器把目标转换为力矩,内部以 1.2 kHz 运行,策略本身以 30 Hz 查询 τ j = k j p ( q j t a r − q j ) − k j d q ˙ j \tau_j=k^{p}_j\left(q^{\mathrm{tar}}_j-q_j\right)-k^{d}_j\dot q_j τj=kjp(qjtar−qj)−kjdq˙j其中:
- q j t a r q^{\mathrm{tar}}_j qjtar:策略给出的第 j j j 个关节目标角
- q j q_j qj、 q ˙ j \dot q_j q˙j:当前关节角与角速度
- k j p k^{p}_j kjp、 k j d k^{d}_j kjd:逐关节的刚度与阻尼增益
-
这种设计的理由是:低层的刚度、阻尼与系统延迟由 PD 环吸收,策略只需要输出"想摆成什么姿态",不必学习力矩层面的细节。后续四足的 mimic 工作普遍保留了这一接口
-
论文在四类角色上验证了框架,规模差异如下
| 角色 | 连杆数 | 质量(kg) | 身高(m) | 自由度 | 状态维数 | 动作维数 |
|---|---|---|---|---|---|---|
| Humanoid(人形角色) | 13 | 45.0 | 1.62 | 34 | 197 | 36 |
| Atlas(阿特拉斯人形机器人) | 12 | 169.8 | 1.82 | 31 | 184 | 32 |
| T-Rex(暴龙) | 20 | 54.5 | 1.66 | 55 | 262 | 64 |
| Dragon(龙) | 32 | 72.5 | 1.83 | 79 | 418 | 94 |
- 四类角色的外形与关节结构如下,后文的实验都在它们身上完成

- 表中自由度与动作维数的差别来自角色复杂度:人形与 Atlas 结构接近,T-Rex 与龙用来检验框架对高维动作空间的适应性
- 至此,策略的输入(观测)与输出(动作)都确定了。但观测里的相位、奖励里要用的参考姿态,都来自同一份参考动作,它如何被推进与使用,是下一节的内容
2-5 参考动作与运动跟踪
- 参考动作在训练中扮演两个角色:一方面提供每帧的参考状态,用于计算模仿奖励;另一方面提供初始状态,用于 RSI
- RSI(Reference State Initialization,参考状态初始化) 的核心思想非常简单:
- 每次开始一个训练回合(Episode),不再固定从参考动作的第一帧开始,而是从参考动作中随机抽取一个时刻,将角色初始化到对应的状态。
- RSI 解决了两个问题
- 探索问题:高动态技能的中间阶段(例如空翻的腾空)只能从特定前置状态到达,从静止初始状态出发几乎不可能触及
- 回报稀疏:失败状态下策略得不到高回报样本,梯度无法指向正确方向
说人话:与其让机器人从站着开始一遍遍摔,不如直接把它放到空翻的半空中,让它从那里继续学
- 与之配套的是 ET(Early Termination,提前终止) ,它是 DeepMimic 中的一种训练技巧,核心思想是:
- 当角色严重偏离参考动作,或出现明显失败状态时,提前结束当前回合,而不是继续进行无意义的仿真
- 论文给出的触发条件有两类:躯干或头部等着地,或部分连杆的高度低于阈值,角色已经倒下
- 终止之后,本回合剩余时间不再产生奖励,策略不会从"躺在地上挣扎"的片段里采到有效样本
- 因此 ET 的作用不止是省算力,它改变了奖励分布,大量失败样本被剪掉,等价于一种数据层面的课程。现代实现在这之外还增加了与参考姿态的偏离判据(见 3-3 节)
- 两个设计各自贡献了多少,论文用消融实验作了检验

- 图 11 中蓝线为 RSI 与 ET 同时启用,橙线只开 ET,绿线只开 RSI。后空翻与侧空翻两项上,两条单独启用的曲线都明显低于组合版本,其中只开 RSI 的版本几乎学不动
- 表 5 给出了对应的归一化回报,四项技能中三项的组合版本最优
| 技能 | RSI + ET | 仅 ET | 仅 RSI |
|---|---|---|---|
| Backflip(后空翻) | 0.791 | 0.730 | 0.379 |
| Sideflip(侧空翻) | 0.823 | 0.717 | 0.355 |
| Spinkick(旋风踢) | 0.848 | 0.858 | 0.479 |
| Walk | 0.980 | 0.981 | 0.974 |
- 从数字上看,组合版本在 Backflip 与 Sideflip 上明显最好;Spinkick 三项接近,其中仅 ET 略高于组合;Walk 三项几乎持平。所以消融支持的是"组合对高动态技能尤其有效",而不是任何技能都必须同时启用两个设计
- 这一结果与机制的对应关系很清楚:行走一类的地面动作可以从站立状态直接进入有效样本,腾空类动作则需要 RSI 提供可达的初始状态、ET 砍掉不可恢复的分支。差距集中出现在后者,说明两个设计针对的是"高动态技能的可达性",而不是普遍的样本效率
- 两个设计回答的是"从哪里开始学、什么时候停止学",奖励则回答"朝哪个方向学",下一节把模仿奖励写实
2-6 奖励函数设计
- 2-3 节只给出了模仿奖励的分解骨架,这一节把四项写实。模仿奖励由四项组成,分别约束关节朝向、关节速度、末端位置与质心位置 r t I = ω p r t p + ω v r t v + ω e r t e + ω c r t c r^{I}_t=\omega^{p}r^{p}_t+\omega^{v}r^{v}_t+\omega^{e}r^{e}_t+\omega^{c}r^{c}_t rtI=ωprtp+ωvrtv+ωerte+ωcrtc其中:
- ω p , ω v , ω e , ω c \omega^{p},\omega^{v},\omega^{e},\omega^{c} ωp,ωv,ωe,ωc:四项权重,论文取 0.65 0.65 0.65、 0.1 0.1 0.1、 0.15 0.15 0.15、 0.1 0.1 0.1
- 姿态项比较每个关节的朝向,四元数差异取旋转角,再按关节加权求和 r t p = exp − 2 ∑ j ∥ q \^ t j ⊖ q t j ∥ 2 r^{p}_t=\exp\left-2\\sum_{j}\\left\\\|\\hat q\^{j}_t\\ominus q\^{j}_t\\right\\\|\^{2}\\right rtp=exp−2j∑ q\^tj⊖qtj 2其中:
- q ^ t j \hat q^{j}_t q^tj、 q t j q^{j}_t qtj:参考与仿真中第 j j j 个关节的朝向四元数
- ⊖ \ominus ⊖:四元数差, ∥ ⋅ ∥ \|\cdot\| ∥⋅∥ 返回该差对应的旋转角
- 速度项比较关节角速度 r t v = exp − 0.1 ∑ j ∥ q ˙ \^ t j − q ˙ t j ∥ 2 r^{v}_t=\exp\left-0.1\\sum_{j}\\left\\\|\\hat{\\dot q}\^{j}_t-\\dot q\^{j}_t\\right\\\|\^{2}\\right rtv=exp−0.1j∑ q˙\^tj−q˙tj 2其中:
- q ˙ ^ t j \hat{\dot q}^{j}_t q˙^tj:参考关节角速度,由参考序列差分得到
- 末端项约束手与脚的位置,集合 e e e 为左右脚、左右手 r t e = exp − 40 ∑ e ∥ p \^ t e − p t e ∥ 2 r^{e}_t=\exp\left-40\\sum_{e}\\left\\\|\\hat p\^{e}_t-p\^{e}_t\\right\\\|\^{2}\\right rte=exp−40e∑∥p\^te−pte∥2其中:
- p t e p^{e}_t pte:末端在世界坐标系下的三维位置
- 质心项约束根节点位置 r t c = exp − 10 ∥ p \^ t c − p t c ∥ 2 r^{c}_t=\exp\left-10\\left\\\|\\hat p\^{c}_t-p\^{c}_t\\right\\\|\^{2}\\right rtc=exp−10∥p\^tc−ptc∥2其中:
- p t c p^{c}_t ptc:角色质心的三维位置
- 四项都用指数核把误差映射到 ( 0 , 1 ] (0,1] (0,1] 区间,误差为零时取最大值 1。指数系数控制敏感度,数值越大,对误差越苛刻。四项系数相差两个数量级,原因是各误差的量纲不同:四元数夹角以弧度计、位置以米计,末端与质心的容差远小于姿态
- 任务奖励按任务类型分别定义,目标是"朝向指定方向行走"时 r t G = exp − 2.5 max ( 0 , v ∗ − v t ⋅ d \^ t ) 2 r^{G}_t=\exp\left-2.5\\max\\left(0,\\ v\^{\*}-\\mathbf{v}_t\\cdot\\hat{\\mathbf{d}}_t\\right)\^{2}\\right rtG=exp−2.5max(0, v∗−vt⋅d\^t)2其中:
- v ∗ v^{*} v∗:期望速度
- v t \mathbf{v}_t vt:角色质心速度
- d ^ t \hat{\mathbf{d}}_t d^t:目标方向单位向量
- 沿目标方向的分速度超过期望值时,惩罚项为零,即不惩罚"走快了"
- 对应的实现如下,四项误差分别计算后加权求和
python
def imitation_reward(cur, tar, joint_err_w, dof_err_w):
# 姿态项:逐关节四元数夹角,按关节权重加权后平方求和
pose_err = (joint_err_w * quat_angle(cur.joint_rot, tar.joint_rot) ** 2).sum(-1)
# 速度项:关节角速度差
vel_err = (dof_err_w * (tar.dof_vel - cur.dof_vel) ** 2).sum(-1)
# 末端项:手脚关键点位置差,先对三个坐标求和,再对末端求和
ee_err = ((tar.key_pos - cur.key_pos) ** 2).sum(-1).sum(-1)
# 质心项:根节点位置差
com_err = ((tar.root_pos - cur.root_pos) ** 2).sum(-1)
r_pose = torch.exp(-2.0 * pose_err)
r_vel = torch.exp(-0.1 * vel_err)
r_ee = torch.exp(-40.0 * ee_err)
r_com = torch.exp(-10.0 * com_err)
# 权重与论文一致
return 0.65 * r_pose + 0.1 * r_vel + 0.15 * r_ee + 0.1 * r_com
- 这套奖励结构有两点值得记住
- 每一项都是独立的相似度分数,而不是加权误差和。分数形式让不同量纲的误差可以相加,但它并不自动解决量纲与尺度问题:各分项的实际贡献由指数尺度与权重共同决定,需要分别标定
- 奖励只依赖参考动作与当前状态,不依赖参考动作的未来信息,因此策略在部署时不需要额外的前瞻
说人话:四项奖励各自打一个 0 到 1 的分,姿态像不像、速度像不像、手脚位置像不像、身体位置像不像,最后按重要程度加权平均
- 到这里,优化目标已经完整:状态与动作决定了策略能看什么、能做什么,奖励决定了做得好不好,剩下的问题是如何用这些奖励更新网络
2-7 PPO 策略优化
- 奖励已经写成可计算的分数,本节说明如何用它更新策略。策略网络与价值网络结构相同:两层全连接,隐藏单元数为 1024 与 512,激活函数为 ReLU,输出层为线性
- 策略输出的是高斯分布的均值,协方差矩阵固定,作为超参数处理而不是网络输出 π θ ( a t ∣ s t ) = N ( μ θ ( s t ) , Σ ) \pi_\theta(a_t\mid s_t)=\mathcal{N}\left(\mu_\theta(s_t),\ \Sigma\right) πθ(at∣st)=N(μθ(st), Σ)其中:
- μ θ ( s t ) \mu_\theta(s_t) μθ(st):网络输出的动作均值
- Σ \Sigma Σ:固定的对角协方差矩阵,训练时以动作标准差的形式给出
- 价值网络的结构与策略网络一致,只是输出层换成一个线性单元,直接输出状态价值 V ψ ( s t ) V_\psi(s_t) Vψ(st)
- 当状态里加入高度图时,视觉分支先经过三层卷积( 16 × 8 × 8 16\times 8\times 8 16×8×8、 32 × 4 × 4 32\times 4\times 4 32×4×4、 32 × 4 × 4 32\times 4\times 4 32×4×4),再经过一层 64 维全连接,与本体状态拼接后进入 1024 与 512 的全连接层

- 优化算法是近端策略优化(Proximal Policy Optimization,PPO),目标是截断的重要性采样估计 L c l i p ( θ ) = E min ( ρ t A t , c l i p ( ρ t , 1 − ϵ , 1 + ϵ ) A t ) , ρ t = π θ ( a t ∣ s t ) π θ o l d ( a t ∣ s t ) L^{\mathrm{clip}}(\theta)=\mathbb{E}\left\\min\\left(\\rho_t A_t,\\ \\mathrm{clip}\\left(\\rho_t,1-\\epsilon,1+\\epsilon\\right)A_t\\right)\\right,\quad \rho_t=\frac{\pi_\theta(a_t\mid s_t)}{\pi_{\theta_{\mathrm{old}}}(a_t\mid s_t)} Lclip(θ)=Emin(ρtAt, clip(ρt,1−ϵ,1+ϵ)At),ρt=πθold(at∣st)πθ(at∣st)其中:
- ρ t \rho_t ρt:新旧策略在样本动作上的概率比
- ϵ \epsilon ϵ:截断阈值,限制单次更新的幅度
- A t A_t At:优势估计
- 价值网络与策略使用两种相关但不同的估计:价值函数以 TD(λ) 的多步回报为回归目标,策略的优势则由广义优势估计(Generalized Advantage Estimation,GAE)给出,两者共用同一个衰减系数 λ \lambda λ A t = ∑ l = 0 T − t − 1 ( γ λ ) l δ t + l , δ t = r t + γ V ψ ( s t + 1 ) − V ψ ( s t ) A_t=\sum_{l=0}^{T-t-1}\left(\gamma\lambda\right)^{l}\delta_{t+l},\qquad \delta_t=r_t+\gamma V_\psi(s_{t+1})-V_\psi(s_t) At=l=0∑T−t−1(γλ)lδt+l,δt=rt+γVψ(st+1)−Vψ(st)其中:
- λ \lambda λ:优势估计的衰减系数,同时决定多步回报的加权方式
- δ t \delta_t δt:单步时序差分误差
- 一次完整的训练迭代可以概括为下图
#mermaid-svg-xCJhuiHkY06R6s38{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-xCJhuiHkY06R6s38 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-xCJhuiHkY06R6s38 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-xCJhuiHkY06R6s38 .error-icon{fill:#552222;}#mermaid-svg-xCJhuiHkY06R6s38 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-xCJhuiHkY06R6s38 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-xCJhuiHkY06R6s38 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-xCJhuiHkY06R6s38 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-xCJhuiHkY06R6s38 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-xCJhuiHkY06R6s38 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-xCJhuiHkY06R6s38 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-xCJhuiHkY06R6s38 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-xCJhuiHkY06R6s38 .marker.cross{stroke:#333333;}#mermaid-svg-xCJhuiHkY06R6s38 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-xCJhuiHkY06R6s38 p{margin:0;}#mermaid-svg-xCJhuiHkY06R6s38 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-xCJhuiHkY06R6s38 .cluster-label text{fill:#333;}#mermaid-svg-xCJhuiHkY06R6s38 .cluster-label span{color:#333;}#mermaid-svg-xCJhuiHkY06R6s38 .cluster-label span p{background-color:transparent;}#mermaid-svg-xCJhuiHkY06R6s38 .label text,#mermaid-svg-xCJhuiHkY06R6s38 span{fill:#333;color:#333;}#mermaid-svg-xCJhuiHkY06R6s38 .node rect,#mermaid-svg-xCJhuiHkY06R6s38 .node circle,#mermaid-svg-xCJhuiHkY06R6s38 .node ellipse,#mermaid-svg-xCJhuiHkY06R6s38 .node polygon,#mermaid-svg-xCJhuiHkY06R6s38 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-xCJhuiHkY06R6s38 .rough-node .label text,#mermaid-svg-xCJhuiHkY06R6s38 .node .label text,#mermaid-svg-xCJhuiHkY06R6s38 .image-shape .label,#mermaid-svg-xCJhuiHkY06R6s38 .icon-shape .label{text-anchor:middle;}#mermaid-svg-xCJhuiHkY06R6s38 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-xCJhuiHkY06R6s38 .rough-node .label,#mermaid-svg-xCJhuiHkY06R6s38 .node .label,#mermaid-svg-xCJhuiHkY06R6s38 .image-shape .label,#mermaid-svg-xCJhuiHkY06R6s38 .icon-shape .label{text-align:center;}#mermaid-svg-xCJhuiHkY06R6s38 .node.clickable{cursor:pointer;}#mermaid-svg-xCJhuiHkY06R6s38 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-xCJhuiHkY06R6s38 .arrowheadPath{fill:#333333;}#mermaid-svg-xCJhuiHkY06R6s38 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-xCJhuiHkY06R6s38 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-xCJhuiHkY06R6s38 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-xCJhuiHkY06R6s38 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-xCJhuiHkY06R6s38 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-xCJhuiHkY06R6s38 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-xCJhuiHkY06R6s38 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-xCJhuiHkY06R6s38 .cluster text{fill:#333;}#mermaid-svg-xCJhuiHkY06R6s38 .cluster span{color:#333;}#mermaid-svg-xCJhuiHkY06R6s38 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-xCJhuiHkY06R6s38 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-xCJhuiHkY06R6s38 rect.text{fill:none;stroke-width:0;}#mermaid-svg-xCJhuiHkY06R6s38 .icon-shape,#mermaid-svg-xCJhuiHkY06R6s38 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-xCJhuiHkY06R6s38 .icon-shape p,#mermaid-svg-xCJhuiHkY06R6s38 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-xCJhuiHkY06R6s38 .icon-shape .label rect,#mermaid-svg-xCJhuiHkY06R6s38 .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-xCJhuiHkY06R6s38 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-xCJhuiHkY06R6s38 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-xCJhuiHkY06R6s38 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 采样初始状态: 从参考片段均匀取时刻
策略在并行环境中滚动
用 GAE 计算优势
PPO 截断目标, 小批量多轮更新
回合终止或超时
- 论文正文没有列出全部超参数,具体数值放在补充材料中。这一点在阅读时需要注意:论文给定的是一套方法结构,复现时的数值细节需要另行确定
- 方法至此完整:观测与动作接口(2-4)、参考动作的使用方式(2-5)、奖励函数(2-6)、优化算法(2-7)四个部分都已确定,下一节看这套方法在实验中的表现
2-8 论文结果与实验
- 方法在前几节已经完整,本节看它的实验结果。论文在多类技能上报告了归一化回报(Normalized Return,NR),定义为把每回合回报按该回合可能的最小值与最大值归一化到 0 到 1 区间,再跨 32 个回合取平均。下表摘录了部分结果
| 技能 | 片段长度(s) | 归一化回报 |
|---|---|---|
| Jog(慢跑) | 0.80 | 0.951 |
| Run(奔跑) | 0.80 | 0.951 |
| Backflip(后空翻) | 1.75 | 0.729 |
| Cartwheel(侧手翻) | 2.72 | 0.804 |
| Spinkick(旋风踢) | 1.28 | 0.748 |
| Crawl(匍匐爬行) | 2.93 | 0.932 |
- 下图展示了部分训练后策略的动作快照,自上而下依次为行走、奔跑、侧手翻、舞蹈、后空翻、前空翻与翻滚

- 把范围扩大,图 6 汇总了四类角色与多种技能的执行快照:Atlas 的行走、奔跑、后空翻与旋风踢,T-Rex 与龙的行走,以及人体的侧空翻、回旋、翻滚起身、踢腿、翻越与匍匐

- 这张图说明框架具有较好的跨角色适用性:更换角色模型与参考动作后,运动跟踪的整体思路仍然成立,但骨骼拓扑、关节结构与控制方式一变,动作重定向、状态表示、动作接口与相关奖励都要跟着调整;迁移到四足时处理的就是这部分工作
- 任务组合的结果更能说明奖励组合的作用
- 旋风踢任务中,同时优化模仿与任务目标的策略命中率为 99%,只优化模仿目标的策略只有 19%
- 投掷任务中,两个数字分别是 75% 与 5%
说人话:只会模仿的策略学不会"打到目标",任务奖励必须显式加进去,但去掉模仿奖励之后动作会变得很奇怪,两者缺一不可
- 多片段整合方面,论文比较了三种方案
- 多片段奖励:取各片段模仿奖励的最大值,一个策略同时覆盖多段动作,学到的切换较自然
- 技能选择器:把技能编号以独热向量并入任务目标,用一个人为给定的指令切换技能
- 复合策略:分别训练单技能策略,再按价值函数构造玻尔兹曼分布进行组合,适合风格差异大的技能库
- 论文同时展示了跨角色迁移的结果:把人体动作重定向到 Atlas 机器人后重新训练,策略仍能复现走路、空翻与旋风踢;带高度图输入的策略还能在随机地形上行走。
3 MimicKit:运动模仿算法的统一实现框架
3-1 MimicKit 项目介绍与环境搭建
- MimicKit 是 DeepMimic 作者团队在 2025 年发布的统一实现。它把 DeepMimic、AMP、ASE、AWR、LCP、ADD、SMP 等方法放进同一套代码,通过配置切换算法与环境
- 2018 年的原始工程使用 TensorFlow 1、Bullet 2.88、SWIG 绑定与 MPI 并行,依赖链条较长,作者已在项目首页说明该工程停止维护并指向 MimicKit。因此本文的代码对照以 MimicKit 为准
- MimicKit 的运行环境可以拆成四类依赖
| 组件 | 作用 |
|---|---|
| Python 与 PyTorch | 策略网络、价值网络与训练器 |
| 仿真引擎后端 | Isaac Gym、Isaac Lab、Newton 三选一,提供 GPU 并行仿真 |
| YAML 配置 | 引擎、环境、智能体三份配置,描述一次实验的全部设置 |
| 动作数据 | 以 .pkl 保存的参考片段,包含根位姿与关节角序列 |
- 一次实验由三份配置组装:引擎配置指定后端与并行环境数,环境配置指定角色模型、参考数据、奖励权重与终止条件,智能体配置指定算法与超参数。这种拆分对应论文里的"角色 + 参考动作 + 训练算法"三个输入
- 环境搭建的关键不是安装步骤本身,而是理解三者的耦合点:换角色要同时改角色文件与关键点定义,换动作要改参考数据与片段长度,换算法只需替换智能体配置
3-2 整体工程架构
- 框架分成四层,配置层描述实验,运行层的四个组件各司其职
#mermaid-svg-HB7soQ074IpJ4KrV{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-HB7soQ074IpJ4KrV .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-HB7soQ074IpJ4KrV .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-HB7soQ074IpJ4KrV .error-icon{fill:#552222;}#mermaid-svg-HB7soQ074IpJ4KrV .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-HB7soQ074IpJ4KrV .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-HB7soQ074IpJ4KrV .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-HB7soQ074IpJ4KrV .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-HB7soQ074IpJ4KrV .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-HB7soQ074IpJ4KrV .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-HB7soQ074IpJ4KrV .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-HB7soQ074IpJ4KrV .marker{fill:#333333;stroke:#333333;}#mermaid-svg-HB7soQ074IpJ4KrV .marker.cross{stroke:#333333;}#mermaid-svg-HB7soQ074IpJ4KrV svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-HB7soQ074IpJ4KrV p{margin:0;}#mermaid-svg-HB7soQ074IpJ4KrV .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-HB7soQ074IpJ4KrV .cluster-label text{fill:#333;}#mermaid-svg-HB7soQ074IpJ4KrV .cluster-label span{color:#333;}#mermaid-svg-HB7soQ074IpJ4KrV .cluster-label span p{background-color:transparent;}#mermaid-svg-HB7soQ074IpJ4KrV .label text,#mermaid-svg-HB7soQ074IpJ4KrV span{fill:#333;color:#333;}#mermaid-svg-HB7soQ074IpJ4KrV .node rect,#mermaid-svg-HB7soQ074IpJ4KrV .node circle,#mermaid-svg-HB7soQ074IpJ4KrV .node ellipse,#mermaid-svg-HB7soQ074IpJ4KrV .node polygon,#mermaid-svg-HB7soQ074IpJ4KrV .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-HB7soQ074IpJ4KrV .rough-node .label text,#mermaid-svg-HB7soQ074IpJ4KrV .node .label text,#mermaid-svg-HB7soQ074IpJ4KrV .image-shape .label,#mermaid-svg-HB7soQ074IpJ4KrV .icon-shape .label{text-anchor:middle;}#mermaid-svg-HB7soQ074IpJ4KrV .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-HB7soQ074IpJ4KrV .rough-node .label,#mermaid-svg-HB7soQ074IpJ4KrV .node .label,#mermaid-svg-HB7soQ074IpJ4KrV .image-shape .label,#mermaid-svg-HB7soQ074IpJ4KrV .icon-shape .label{text-align:center;}#mermaid-svg-HB7soQ074IpJ4KrV .node.clickable{cursor:pointer;}#mermaid-svg-HB7soQ074IpJ4KrV .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-HB7soQ074IpJ4KrV .arrowheadPath{fill:#333333;}#mermaid-svg-HB7soQ074IpJ4KrV .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-HB7soQ074IpJ4KrV .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-HB7soQ074IpJ4KrV .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-HB7soQ074IpJ4KrV .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-HB7soQ074IpJ4KrV .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-HB7soQ074IpJ4KrV .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-HB7soQ074IpJ4KrV .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-HB7soQ074IpJ4KrV .cluster text{fill:#333;}#mermaid-svg-HB7soQ074IpJ4KrV .cluster span{color:#333;}#mermaid-svg-HB7soQ074IpJ4KrV div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-HB7soQ074IpJ4KrV .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-HB7soQ074IpJ4KrV rect.text{fill:none;stroke-width:0;}#mermaid-svg-HB7soQ074IpJ4KrV .icon-shape,#mermaid-svg-HB7soQ074IpJ4KrV .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-HB7soQ074IpJ4KrV .icon-shape p,#mermaid-svg-HB7soQ074IpJ4KrV .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-HB7soQ074IpJ4KrV .icon-shape .label rect,#mermaid-svg-HB7soQ074IpJ4KrV .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-HB7soQ074IpJ4KrV .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-HB7soQ074IpJ4KrV .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-HB7soQ074IpJ4KrV :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 运行层
配置层
引擎 YAML
环境 YAML
智能体 YAML
Engine: 并行仿真与物理
Environment: 观测 / 奖励 / 终止
Model: 策略与价值网络
Agent: 采样与参数更新
- 这一划分与论文概念的对应关系如下
| 论文概念 | 框架中的位置 | 说明 |
|---|---|---|
| 角色模型与参考动作 | Environment | 环境持有角色模型,加载参考片段,维护相位 |
| 状态特征 | Environment | 本体状态与相位在环境侧拼接后送入策略 |
| 模仿奖励与任务奖励 | Environment | 奖励函数按配置组装,DeepMimic 的奖励是一个独立函数 |
| 策略网络与价值网络 | Model | 网络结构与初始化尺度在配置中指定 |
| PPO 更新 | Agent | 采样、优势估计与参数更新 |
- 这里有一点值得强调:DeepMimic 在框架里没有独立的算法实现,智能体就是通用的 PPO,方法本身全部落在环境侧。这与论文的分工一致,也说明模仿类方法的研究重心在观测与奖励,而不是优化器
3-3 DeepMimic 核心代码解析
- 以下四段代码是根据源码整理的核心逻辑,为了让逻辑更紧凑,函数签名做了合并,与论文公式逐项对应
- 需要注意,论文的状态定义与具体实现的观测配置并不完全等价:实现里可以通过配置选择全局或局部观测,还会额外加入根高度、未来参考姿态等信息,下面的观测构建以默认配置为例
- 第一段是观测拼接,状态特征、相位与未来若干帧的参考姿态依次拼接
python
def build_obs(char_state, phase, ref_future):
# 本体状态:根位置、根朝向、根速度、根角速度、关节旋转、关节速度、关键点
obs = [char_state.root_pos, char_state.root_rot,
char_state.root_vel, char_state.root_ang_vel,
char_state.joint_rot, char_state.dof_vel,
char_state.key_pos]
# 相位:告诉网络当前处在参考动作的哪个阶段
obs.append(compute_phase_obs(phase))
# 未来若干帧的参考姿态,属于现代实现的补充输入
obs.append(ref_future.flatten(start_dim=1))
return torch.cat(obs, dim=-1)
- 第二段是奖励函数,四项误差分别取指数后加权求和
python
def compute_reward(cur, tar, joint_err_w, dof_err_w,
pose_w, vel_w, root_pose_w, root_vel_w, key_pos_w,
pose_scale, vel_scale, root_pose_scale, root_vel_scale, key_pos_scale):
# 姿态:逐关节四元数夹角
pose_err = (joint_err_w * quat_angle(cur.joint_rot, tar.joint_rot) ** 2).sum(-1)
# 关节速度
vel_err = (dof_err_w * (tar.dof_vel - cur.dof_vel) ** 2).sum(-1)
# 根位置:对应论文的质心项
root_pos_err = ((tar.root_pos - cur.root_pos) ** 2).sum(-1)
# 根朝向:论文中并入质心项,这里单独拆出
root_rot_err = quat_angle(cur.root_rot, tar.root_rot) ** 2
# 根线速度与角速度
root_vel_err = ((tar.root_vel - cur.root_vel) ** 2).sum(-1)
root_ang_vel_err = ((tar.root_ang_vel - cur.root_ang_vel) ** 2).sum(-1)
# 末端关键点
key_pos_err = ((tar.key_pos - cur.key_pos) ** 2).sum(-1).sum(-1)
r = pose_w * torch.exp(-pose_scale * pose_err) \
+ vel_w * torch.exp(-vel_scale * vel_err) \
+ root_pose_w * torch.exp(-root_pose_scale * (root_pos_err + 0.1 * root_rot_err)) \
+ root_vel_w * torch.exp(-root_vel_scale * (root_vel_err + 0.1 * root_ang_vel_err)) \
+ key_pos_w * torch.exp(-key_pos_scale * key_pos_err)
return r
- 第三段是终止判定,包含着地检测、姿态偏离与首步豁免
python
def compute_done(time, ep_len, body_pos, tar_body_pos, contact_force, contact_ids,
pose_termination, pose_termination_dist, enable_early_termination):
timeout = time >= ep_len
done = timeout.clone()
if enable_early_termination:
# 躯干等非接触部位着地,判定为摔倒
masked = contact_force.clone()
masked[:, contact_ids, :] = 0
failed = (masked.abs() > 0.1).any(dim=-1).any(dim=-1)
# 与参考姿态的偏差,取偏差最大的刚体
if pose_termination:
diff = ((tar_body_pos - body_pos) ** 2).sum(-1).max(dim=-1)[0]
failed |= diff > pose_termination_dist ** 2
# 第一步不判失败:RSI 直接把角色放到参考状态上
done |= failed & (time > 0.0)
return done
- 第四段是相位与初始化,对应论文的 RSI
python
def calc_phase(times, motion_len, loop_mode):
phase = times / motion_len
# 循环片段回绕,非循环片段截断
phase = torch.where(loop_mode == WRAP, phase - torch.floor(phase), phase)
return phase.clip(0.0, 1.0)
def sample_init_time(n, motion_len):
# 在片段内均匀采样时刻,这一步就是参考状态初始化
return torch.rand(n) * motion_len
- 与论文原文相比,这一实现有几处改动,阅读时应当分清哪些是等价改写、哪些是新增设计
| 项 | 论文 | MimicKit 实现 |
|---|---|---|
| 奖励项数 | 4 项 | 5 项,把质心项拆成根位姿与根速度 |
| 奖励权重 | 0.65 / 0.1 / 0.15 / 0.1 | 0.5 / 0.1 / 0.15 / 0.1 / 0.15 |
| 指数尺度 | 2 / 0.1 / 40 / 10 | 0.25 / 0.01 / 5.0 / 1.0 / 10.0 |
| 相位观测 | 显式正弦余弦,多片段时必需 | 默认关闭,开启后使用多频位置编码 |
| 额外输入 | 无 | 未来若干帧的参考姿态 |
| 训练后端 | TensorFlow 1 + MPI,Bullet | PyTorch PPO,GPU 并行仿真 |
- 两点结论:奖励项的拆分与指数尺度的变化属于参数化调整,结构没有变;未来帧观测与可关闭的相位属于后续改进,不能当作论文原始设定
3-4 参考动作数据处理
- 参考片段以 .pkl 保存,逐帧存储根位置、根朝向与关节角。朝向使用三维指数映射表示,而不是四元数,这样可以减少存储并避免双覆盖问题
python
# 每帧的数据布局:根位置 3 维、根朝向 3 维(指数映射)、关节角若干维
root_pos, root_rot, joint_dof = frame[..., 0:3], frame[..., 3:6], frame[..., 6:]
- 片段加载后按时间轴建立索引,运行时的查询包含两步
- 由当前时刻算出相位,用于观测
- 由当前时刻插值出参考根位姿与关节角,用于奖励
- 多片段数据集还会记录每个片段的权重,采样时按长度加权,避免长片段主导训练
- 论文里的 0.5 ∼ 5 0.5\sim 5 0.5∼5 s 片段对应到实现中,就是片段长度字段的取值范围;循环类动作(行走、奔跑)在片段末尾回绕,非循环动作(空翻)在末尾终止
3-5 训练流程与关键参数
- 训练流程与 2-7 节一致,配置上的关键参数如下
| 参数 | Humanoid | Go2 | 含义 |
|---|---|---|---|
| 网络结构 | 两层 1024 | 两层 1024 | 策略与价值网络同构 |
| 动作标准差 | 0.05 | 0.1 | 高斯策略的固定动作标准差 |
| 学习率 | 1e-4 | 2e-4 | 策略与价值分别设置 |
| 折扣因子 | 0.99 | 0.99 | 回报折扣 |
| GAE 系数 | 0.95 | 0.95 | 优势估计衰减 |
| 截断阈值 | 0.2 | 0.2 | PPO 概率比截断 |
| 每轮步数 | 32 | 32 | 一次迭代的滚动长度 |
| 更新轮数 | 5 | 5 | 策略网络每批数据的复用次数 |
- 优化器使用随机梯度下降,这一选择与论文一致。网络结构、折扣因子、GAE 系数与 PPO 截断阈值在各角色之间保持一致;学习率与动作标准差随角色和训练配置调整,四足的动作维度更低、单步改动更敏感,因此动作标准差取值更大
- 并行环境数在配置中指定,常用量级为数千。并行环境同时承担两件事:增加每轮样本量,以及让不同环境处在参考片段的不同阶段,等价于自动化的 RSI 覆盖
3-6 仿真结果与论文对照
- 在 MimicKit 论文的基准配置下,横向比较的结论是:DeepMimic 与 ADD 在跟踪精度上最强,能够精确复现参考片段;AMP 的风格更灵活但逐帧精度较低;ASE 与 SMP 介于两者之间。这一排序与各方法的奖励形式是对应的,跟踪类方法直接用逐帧误差做奖励,先验类方法把精度让渡给了泛化能力。它反映的是该基准下的取舍,不代表 AMP 在所有任务上都最差
- 对照论文与实现时,需要区分三类差异
- 等价改写:奖励项拆分、函数签名合并、朝向表示从四元数换成指数映射
- 参数调整:权重与指数尺度的重新标定,与仿真引擎、控制频率有关
- 新增设计:未来帧观测、可关闭的相位、更大的并行规模
- 对四足方向最有价值的一点,是同一套 DeepMimic 接口已经有四足配置:角色模型是 Unitree Go2,关键点取四只脚,参考动作为步态片段,姿态终止距离为 0.5 m。也就是说,本文前面拆解的每一个量,在四足上都有直接对应物
- 需要区分的是,同一角色在仓库里还配有 ADD 的预设,两者共享角色模型,但算法、奖励与观测配置都不同,本文对照的是 DeepMimic 这一套
- 因此这一章的作用可以概括为:论文给出方法的定义与动机,实现给出落地时的具体取值。两者对照阅读,才能分清哪些设计是方法的核心,哪些是特定工程的产物
总结
- 本文从运动模仿的基本框架出发,逐项拆解了 DeepMimic 的任务建模、状态与动作空间、奖励函数、PPO 训练与多技能整合,并用 MimicKit 中的实现对照了论文里的每一个量
- 核心要点回顾:
- 参考动作与相位:参考片段提供逐帧目标与初始状态,相位把"片段推进到哪"编码成观测
- 动作接口:策略输出 PD 控制器的位置目标,而不是力矩,低层控制细节由 PD 环吸收
- 奖励结构:四项指数核分别约束姿态、速度、末端与质心,任务奖励与模仿奖励加权组合
- RSI 与 ET:两个训练设计共同保证高动态技能的可达性,消融实验显示单独使用都不足
- 多技能整合:多片段奖励、技能选择器与复合策略分别对应不同的技能库规模
- 实现对照:现代实现在奖励拆分、相位观测与并行规模上做了调整,但接口与论文一致,且已经支持四足角色
- 下一篇将讨论 AMP:它把本文这四项手工设计的模仿奖励,替换成一个对抗训练的判别器
- 如有错误,欢迎指出!
- 感谢观看!