【四足RL-Mimic经典算法】(一):DeepMimic——基于参考动作的物理运动跟踪

前言

  • 强化学习的价值不仅在于算法本身,更在于解决复杂实际问题。在四足机器人领域,结合具体任务与应用场景,才能更深入地理解算法的设计思想与应用价值
  • 区别于另一个系列四足强化学习经典算法,本系列 【四足RL-Mimic经典算法】 将重点关注基于强化学习的运动模仿(Motion Imitation)与技能学习(Skill Learning),围绕经典论文与开源实现,分析如何利用动作数据学习自然、多样且可复用的运动技能
  • 本期我们将从 Mimic 算法的起源 DeepMimic 开始,先梳理它的原理,再配合开源代码框架 MimicKit 说明具体实现

需要说明的是,本系列大部分 Mimic 算法具有通用性,并不局限于四足机器人,尽管论文实验多以人形角色为主,但其核心的「参考动作 + 模仿奖励 + 策略学习」范式同样适用于四足机器人,迁移时主要调整角色模型与动作数据。


文章目录

    • 前言
    • [1 运动模仿(Motion Imitation)与技能学习(Skill Learning)](#1 运动模仿(Motion Imitation)与技能学习(Skill Learning))
        • [1-1 什么是运动模仿与技能学习](#1-1 什么是运动模仿与技能学习)
        • [1-2 运动捕捉数据(Motion Capture)](#1-2 运动捕捉数据(Motion Capture))
        • [1-3 基于强化学习的运动模仿基本框架](#1-3 基于强化学习的运动模仿基本框架)
        • [1-4 Motion Tracking 与 Motion Prior 的区别](#1-4 Motion Tracking 与 Motion Prior 的区别)
        • [1-5 从动作跟踪到通用技能学习](#1-5 从动作跟踪到通用技能学习)
    • [2 DeepMimic](#2 DeepMimic)
        • [2-1 论文介绍](#2-1 论文介绍)
        • [2-2 整体框架](#2-2 整体框架)
        • [2-3 运动模仿任务建模](#2-3 运动模仿任务建模)
        • [2-4 状态空间与动作空间](#2-4 状态空间与动作空间)
        • [2-5 参考动作与运动跟踪](#2-5 参考动作与运动跟踪)
        • [2-6 奖励函数设计](#2-6 奖励函数设计)
        • [2-7 PPO 策略优化](#2-7 PPO 策略优化)
        • [2-8 论文结果与实验](#2-8 论文结果与实验)
    • [3 MimicKit:运动模仿算法的统一实现框架](#3 MimicKit:运动模仿算法的统一实现框架)
        • [3-1 MimicKit 项目介绍与环境搭建](#3-1 MimicKit 项目介绍与环境搭建)
        • [3-2 整体工程架构](#3-2 整体工程架构)
        • [3-3 DeepMimic 核心代码解析](#3-3 DeepMimic 核心代码解析)
        • [3-4 参考动作数据处理](#3-4 参考动作数据处理)
        • [3-5 训练流程与关键参数](#3-5 训练流程与关键参数)
        • [3-6 仿真结果与论文对照](#3-6 仿真结果与论文对照)
    • 总结

1 运动模仿(Motion Imitation)与技能学习(Skill Learning)

1-1 什么是运动模仿与技能学习
  • 运动模仿(Motion Imitation)指给定一段已经存在的参考运动,训练控制策略在物理仿真中复现它。参考运动通常来自动作捕捉数据,也可以来自手工关键帧
    • 与动画中的关键帧插值不同,运动模仿的输出不是一个位姿序列,而是一个闭环策略:策略在每个控制周期读取当前状态,输出该时刻的关节指令,因此仿真角色可以偏离参考、可以摔倒,也可以自我恢复
    • 这套方法的本质,是把"由人设计控制律"替换为"由数据定义目标,由强化学习搜索控制律"
  • 技能学习(Skill Learning)在此基础上更进一步:当参考运动不止一段,或者需要按指令切换技能时,问题从"复现一个动作"变成"管理一个技能库"
  • 三种问题类型可以对照如下,它们并非严格的层级关系,而是可以相互组合的目标维度
问题类型 输入 输出 关注点
运动模仿 单一参考片段 复现该片段的策略 跟踪精度、物理合理性
技能学习 多段参考片段或技能指令 可切换、可组合的技能库 泛化能力、切换过渡
任务学习 任务奖励函数 完成任务的策略 目标达成率
  • 三类问题共享同一套基础设施:参考动作的表示、物理仿真、策略网络与优化算法。差别落在奖励函数怎么写、观测里放什么条件、以及训练时如何混合多个目标
  • 任务学习不是更高的第三层:DeepMimic 本身就把模仿奖励与任务奖励加权相加(见 2-6 节),任务目标可以与模仿目标或技能目标并置,所以上面的分组按"问题类型"而不是"层级"来理解
1-2 运动捕捉数据(Motion Capture)
  • 运动捕捉(Motion Capture,动作捕捉)是把真实运动的位姿逐帧记录下来。常见的三类来源是光学动捕、惯性动捕与人工关键帧
  • 无论来源如何,数据进入仿真前都要经过重定向(Retargeting) :
    • 把源角色的骨骼长度与关节定义映射到目标模型上。人形数据迁移到四足时会失效,因为拓扑结构完全不同,这也是后续方法要处理"动作数据从哪来"的原因
  • 数据的基本形态是逐帧记录各刚体的位置与朝向,配合关节角序列。DeepMimic 使用的片段长度大约在 0.5 ∼ 5 0.5\sim 5 0.5∼5 s 之间,取自公开的动作捕捉数据库
  • 参考动作有两个天然缺陷,后文的设计几乎都是围绕它们展开的
    • 参考动作的位姿序列在时间上是离散的,与仿真中的连续动力学之间不存在严格的一一对应
    • 原始动捕数据不保证与目标仿真角色的动力学和接触约束一致,直接播放会穿模、打滑,无法作为控制指令使用

说人话:录像是"看起来对",但放到物理世界里跑不动,运动模仿要做的就是把它变成一个能真的跑起来的控制器

1-3 基于强化学习的运动模仿基本框架
  • 强化学习(Reinforcement Learning,RL)把控制问题写成 MDP:智能体在状态 s t s_t st 下按策略 π θ \pi_\theta πθ 采样动作 a t a_t at,环境按转移概率 p ( s t + 1 ∣ s t , a t ) p(s_{t+1}\mid s_t,a_t) p(st+1∣st,at) 给出下一状态与奖励 r t r_t rt
  • 策略优化的目标是最大化折扣累积回报 J ( θ ) = E τ ∼ p θ ( τ ) ∑ t = 0 T γ t r t p θ ( τ ) = p ( s 0 ) ∏ t = 0 T − 1 p ( s t + 1 ∣ s t , a t )   π θ ( a t ∣ s t ) \begin{aligned}J(\theta)&=\mathbb{E}{\tau\sim p\theta(\tau)}\left\\sum_{t=0}\^{T}\\gamma\^{t}r_t\\right\\p_\theta(\tau)&=p(s_0)\prod_{t=0}^{T-1}p(s_{t+1}\mid s_t,a_t)\,\pi_\theta(a_t\mid s_t)\end{aligned} J(θ)pθ(τ)=Eτ∼pθ(τ)t=0∑Tγtrt=p(s0)t=0∏T−1p(st+1∣st,at)πθ(at∣st)其中:
    • T T T:回合长度,运动模仿中通常取固定时域
    • γ ∈ 0 , 1 \gamma\in0,1 γ∈0,1:折扣因子,用于把无限时域回报压成有限值
    • π θ \pi_\theta πθ:参数为 θ \theta θ 的策略,输入状态,输出动作分布
    • p θ ( τ ) p_\theta(\tau) pθ(τ):策略诱导的轨迹分布
  • 策略梯度给出了参数更新的方向 ∇ θ J ( θ ) = E τ ∼ p θ ( τ ) ∑ t = 0 T ∇ θ log ⁡ π θ ( a t ∣ s t )   A t π \nabla_\theta J(\theta)=\mathbb{E}{\tau\sim p\theta(\tau)}\left\\sum_{t=0}\^{T}\\nabla_\\theta\\log\\pi_\\theta(a_t\\mid s_t)\\,A\^{\\pi}_t\\right ∇θJ(θ)=Eτ∼pθ(τ)t=0∑T∇θlogπθ(at∣st)Atπ其中:
    • A t π A^{\pi}_t Atπ:优势函数,衡量动作 a t a_t at 相对平均水平的优劣
  • 整个闭环可以画成下图,后面讨论的任何方法都只是替换其中的某个方框

#mermaid-svg-JzEr2Ta99y2wdfC7{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-JzEr2Ta99y2wdfC7 .error-icon{fill:#552222;}#mermaid-svg-JzEr2Ta99y2wdfC7 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-JzEr2Ta99y2wdfC7 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .marker.cross{stroke:#333333;}#mermaid-svg-JzEr2Ta99y2wdfC7 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-JzEr2Ta99y2wdfC7 p{margin:0;}#mermaid-svg-JzEr2Ta99y2wdfC7 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .cluster-label text{fill:#333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .cluster-label span{color:#333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .cluster-label span p{background-color:transparent;}#mermaid-svg-JzEr2Ta99y2wdfC7 .label text,#mermaid-svg-JzEr2Ta99y2wdfC7 span{fill:#333;color:#333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .node rect,#mermaid-svg-JzEr2Ta99y2wdfC7 .node circle,#mermaid-svg-JzEr2Ta99y2wdfC7 .node ellipse,#mermaid-svg-JzEr2Ta99y2wdfC7 .node polygon,#mermaid-svg-JzEr2Ta99y2wdfC7 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-JzEr2Ta99y2wdfC7 .rough-node .label text,#mermaid-svg-JzEr2Ta99y2wdfC7 .node .label text,#mermaid-svg-JzEr2Ta99y2wdfC7 .image-shape .label,#mermaid-svg-JzEr2Ta99y2wdfC7 .icon-shape .label{text-anchor:middle;}#mermaid-svg-JzEr2Ta99y2wdfC7 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-JzEr2Ta99y2wdfC7 .rough-node .label,#mermaid-svg-JzEr2Ta99y2wdfC7 .node .label,#mermaid-svg-JzEr2Ta99y2wdfC7 .image-shape .label,#mermaid-svg-JzEr2Ta99y2wdfC7 .icon-shape .label{text-align:center;}#mermaid-svg-JzEr2Ta99y2wdfC7 .node.clickable{cursor:pointer;}#mermaid-svg-JzEr2Ta99y2wdfC7 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .arrowheadPath{fill:#333333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-JzEr2Ta99y2wdfC7 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-JzEr2Ta99y2wdfC7 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-JzEr2Ta99y2wdfC7 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-JzEr2Ta99y2wdfC7 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-JzEr2Ta99y2wdfC7 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-JzEr2Ta99y2wdfC7 .cluster text{fill:#333;}#mermaid-svg-JzEr2Ta99y2wdfC7 .cluster span{color:#333;}#mermaid-svg-JzEr2Ta99y2wdfC7 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-JzEr2Ta99y2wdfC7 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-JzEr2Ta99y2wdfC7 rect.text{fill:none;stroke-width:0;}#mermaid-svg-JzEr2Ta99y2wdfC7 .icon-shape,#mermaid-svg-JzEr2Ta99y2wdfC7 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-JzEr2Ta99y2wdfC7 .icon-shape p,#mermaid-svg-JzEr2Ta99y2wdfC7 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-JzEr2Ta99y2wdfC7 .icon-shape .label rect,#mermaid-svg-JzEr2Ta99y2wdfC7 .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-JzEr2Ta99y2wdfC7 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-JzEr2Ta99y2wdfC7 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-JzEr2Ta99y2wdfC7 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 状态 s_t
策略网络
动作 a_t
物理仿真
奖励 r_t
策略更新

  • 三类要素在运动模仿中的具体含义,直接决定了方法的形态
    • 状态:本体感觉(关节角、角速度、重力方向)加上与参考动作相关的信息
    • 动作:关节力矩,或作用在关节上的位置控制目标
    • 奖励:与参考动作的相似度,加上任务本身的完成度
1-4 Motion Tracking 与 Motion Prior 的区别
  • 动作跟踪(Motion Tracking)把参考动作当作逐帧的监督信号:参考位姿既进入观测(作为条件),也进入奖励(作为目标)。策略本质上是一个条件在参考轨迹上的控制器
  • 动作先验(Motion Prior)只要求学到的运动"像"数据里的运动,不要求逐帧对齐。参考数据在训练中被用于训练一个判别器或编码器,策略通过这个判别器获得风格约束,任务奖励主导行为。这里的"训练判别器"指先验本身的训练阶段,策略训练时仍会接收判别器给出的风格奖励,或编码器提供的潜变量条件
  • 两者的差异可以归结为参考动作进入系统的位置不同
维度 动作跟踪 动作先验
参考动作的用法 逐帧进入观测与奖励 用于训练判别器或编码器,策略侧间接使用
策略的条件输入 相位、目标姿态 任务指令、潜变量
奖励来源 与参考的姿态、速度误差 判别器给出的"像不像"分数
代表方法 DeepMimic,以及 MimicKit 中的跟踪类预设 AMP、ASE、CALM
优势 复现精度高,可复现高动态动作 泛化强,可组合多种风格
代价 依赖高质量参考片段 训练稳定性差,风格难以精确控制

说人话:跟踪派是"照着录像打分",一分一秒都对得上;先验派是"不要求像某一段,只要求看起来像那么回事"

  • DeepMimic 属于典型的跟踪派。理解它的奖励结构之后,后面 AMP 把手工奖励换成判别器、ASE 再往条件输入里塞潜变量,改变的是什么就一目了然了
1-5 从动作跟踪到通用技能学习
  • 从 DeepMimic 出发,这条线分成若干演化方向,本文只讨论跟踪主线的起点,其余留待后续各期

#mermaid-svg-3I2Nxt6Nniw9Nx5S{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .error-icon{fill:#552222;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .marker{fill:#333333;stroke:#333333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .marker.cross{stroke:#333333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S p{margin:0;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .cluster-label text{fill:#333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .cluster-label span{color:#333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .cluster-label span p{background-color:transparent;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .label text,#mermaid-svg-3I2Nxt6Nniw9Nx5S span{fill:#333;color:#333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .node rect,#mermaid-svg-3I2Nxt6Nniw9Nx5S .node circle,#mermaid-svg-3I2Nxt6Nniw9Nx5S .node ellipse,#mermaid-svg-3I2Nxt6Nniw9Nx5S .node polygon,#mermaid-svg-3I2Nxt6Nniw9Nx5S .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .rough-node .label text,#mermaid-svg-3I2Nxt6Nniw9Nx5S .node .label text,#mermaid-svg-3I2Nxt6Nniw9Nx5S .image-shape .label,#mermaid-svg-3I2Nxt6Nniw9Nx5S .icon-shape .label{text-anchor:middle;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .rough-node .label,#mermaid-svg-3I2Nxt6Nniw9Nx5S .node .label,#mermaid-svg-3I2Nxt6Nniw9Nx5S .image-shape .label,#mermaid-svg-3I2Nxt6Nniw9Nx5S .icon-shape .label{text-align:center;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .node.clickable{cursor:pointer;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .arrowheadPath{fill:#333333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-3I2Nxt6Nniw9Nx5S .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-3I2Nxt6Nniw9Nx5S .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-3I2Nxt6Nniw9Nx5S .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .cluster text{fill:#333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .cluster span{color:#333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-3I2Nxt6Nniw9Nx5S rect.text{fill:none;stroke-width:0;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .icon-shape,#mermaid-svg-3I2Nxt6Nniw9Nx5S .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .icon-shape p,#mermaid-svg-3I2Nxt6Nniw9Nx5S .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .icon-shape .label rect,#mermaid-svg-3I2Nxt6Nniw9Nx5S .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-3I2Nxt6Nniw9Nx5S .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-3I2Nxt6Nniw9Nx5S .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-3I2Nxt6Nniw9Nx5S :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 动作数据 + 物理控制 + 策略学习
DeepMimic 2018: 逐帧参考动作与模仿奖励
AMP 2021: 判别器替代手工奖励
ASE 2022: 隐变量与技能潜空间
CALM 2023: 潜空间可控化
MaskedMimic 2024: 掩码与大规模动作数据
SuperMimic: 世界模型与速度接口

  • 图中的连线表示研究脉络,不表示严格的继承关系:跟踪主线从 DeepMimic 经 AMP、ASE 到 CALM 逐层替换奖励与条件输入,MaskedMimic 与 SuperMimic 则从同一套基础框架单独分出,研究问题与技术路线与主线并不相同

  • 几条路线分别解决不同的问题

    • 奖励工程:AMP 用对抗判别器替代四项手工奖励,减少调参负担
    • 技能表达:ASE 与 CALM 引入潜变量,让一个策略覆盖多种技能并支持上层控制
    • 数据规模与建模:MaskedMimic 用掩码与大规模动作数据降低对完整轨迹的依赖,SuperMimic 用可微世界模型把模仿目标接到速度接口上
  • 这些方法都围绕动作数据、物理控制与策略学习展开,但参考动作在训练中的使用方式各不相同:有的逐帧跟踪,有的用判别器学习运动先验,有的通过潜变量或条件输入实现技能控制。把这一篇读透,后面每一篇的改动都可以定位到它替换了其中的哪一环


2 DeepMimic

2-1 论文介绍
  • 本文讨论的论文发表于 2018 年,基本信息如下
项 内容
论文 DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills
发表 ACM Transactions on Graphics 37(4),SIGGRAPH 2018
作者 Xue Bin Peng、Pieter Abbeel、Sergey Levine、Michiel van de Panne
实验对象 Humanoid、Atlas 机器人、T-Rex、Dragon 四类角色
  • 论文的贡献可以归纳为四点
    • 用参考动作定义模仿奖励,让策略在物理仿真中复现高动态技能,例如空翻、旋风踢、翻墙上台
    • 把任务奖励与模仿奖励线性组合,使角色在做任务的同时保持动作风格
    • 提出参考状态初始化(Reference State Initialization,RSI)与提前终止(Early Termination,ET)两个训练设计,并给出消融证据
    • 给出多片段整合的三种方案:多片段奖励、技能选择器、复合策略
  • 图 1 是论文首页的高速动作展示,左侧为人体角色完成侧手翻,右侧为 Atlas 机器人完成旋风踢。这类动作的特点是接触时间短、身体腾空,对策略的时序协调要求很高
2-2 整体框架
  • 系统的三个输入是角色模型、参考动作片段与任务奖励函数,输出是一个神经网络策略

  • 参考运动被表示为一串目标姿态 { q ^ t } \{\hat q_t\} {q^t},其下标 t t t 指参考时间轴。策略在每个控制周期接收当前状态 s t s_t st 与任务目标 g t g_t gt,输出动作 a t a_t at π θ ( a t ∣ s t , g t ) \pi_\theta(a_t\mid s_t,g_t) πθ(at∣st,gt)其中:

    • s t s_t st:角色当前状态,包括关节角、角速度、根位姿与相位
    • g t g_t gt:任务目标,例如目标朝向、击打位置;没有任务时该项为空
    • a t a_t at:各关节的位置控制目标,由比例微分(Proportional-Derivative,PD)控制器转换为力矩
  • 参考运动与任务目标分别定义了两种奖励:模仿奖励 r t I r^{I}_t rtI 衡量状态与参考动作的接近程度,任务奖励 r t G r^{G}_t rtG 衡量任务完成度。整体数据流如下

#mermaid-svg-i4uU250IwwJgzP0R{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-i4uU250IwwJgzP0R .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-i4uU250IwwJgzP0R .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-i4uU250IwwJgzP0R .error-icon{fill:#552222;}#mermaid-svg-i4uU250IwwJgzP0R .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-i4uU250IwwJgzP0R .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-i4uU250IwwJgzP0R .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-i4uU250IwwJgzP0R .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-i4uU250IwwJgzP0R .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-i4uU250IwwJgzP0R .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-i4uU250IwwJgzP0R .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-i4uU250IwwJgzP0R .marker{fill:#333333;stroke:#333333;}#mermaid-svg-i4uU250IwwJgzP0R .marker.cross{stroke:#333333;}#mermaid-svg-i4uU250IwwJgzP0R svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-i4uU250IwwJgzP0R p{margin:0;}#mermaid-svg-i4uU250IwwJgzP0R .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-i4uU250IwwJgzP0R .cluster-label text{fill:#333;}#mermaid-svg-i4uU250IwwJgzP0R .cluster-label span{color:#333;}#mermaid-svg-i4uU250IwwJgzP0R .cluster-label span p{background-color:transparent;}#mermaid-svg-i4uU250IwwJgzP0R .label text,#mermaid-svg-i4uU250IwwJgzP0R span{fill:#333;color:#333;}#mermaid-svg-i4uU250IwwJgzP0R .node rect,#mermaid-svg-i4uU250IwwJgzP0R .node circle,#mermaid-svg-i4uU250IwwJgzP0R .node ellipse,#mermaid-svg-i4uU250IwwJgzP0R .node polygon,#mermaid-svg-i4uU250IwwJgzP0R .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-i4uU250IwwJgzP0R .rough-node .label text,#mermaid-svg-i4uU250IwwJgzP0R .node .label text,#mermaid-svg-i4uU250IwwJgzP0R .image-shape .label,#mermaid-svg-i4uU250IwwJgzP0R .icon-shape .label{text-anchor:middle;}#mermaid-svg-i4uU250IwwJgzP0R .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-i4uU250IwwJgzP0R .rough-node .label,#mermaid-svg-i4uU250IwwJgzP0R .node .label,#mermaid-svg-i4uU250IwwJgzP0R .image-shape .label,#mermaid-svg-i4uU250IwwJgzP0R .icon-shape .label{text-align:center;}#mermaid-svg-i4uU250IwwJgzP0R .node.clickable{cursor:pointer;}#mermaid-svg-i4uU250IwwJgzP0R .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-i4uU250IwwJgzP0R .arrowheadPath{fill:#333333;}#mermaid-svg-i4uU250IwwJgzP0R .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-i4uU250IwwJgzP0R .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-i4uU250IwwJgzP0R .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-i4uU250IwwJgzP0R .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-i4uU250IwwJgzP0R .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-i4uU250IwwJgzP0R .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-i4uU250IwwJgzP0R .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-i4uU250IwwJgzP0R .cluster text{fill:#333;}#mermaid-svg-i4uU250IwwJgzP0R .cluster span{color:#333;}#mermaid-svg-i4uU250IwwJgzP0R div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-i4uU250IwwJgzP0R .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-i4uU250IwwJgzP0R rect.text{fill:none;stroke-width:0;}#mermaid-svg-i4uU250IwwJgzP0R .icon-shape,#mermaid-svg-i4uU250IwwJgzP0R .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-i4uU250IwwJgzP0R .icon-shape p,#mermaid-svg-i4uU250IwwJgzP0R .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-i4uU250IwwJgzP0R .icon-shape .label rect,#mermaid-svg-i4uU250IwwJgzP0R .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-i4uU250IwwJgzP0R .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-i4uU250IwwJgzP0R .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-i4uU250IwwJgzP0R :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 参考片段 q_hat_t
相位 phi
模仿奖励 r_I
角色状态 s_t
策略网络
任务目标 g_t
动作 a_t
PD 控制器
物理仿真 1.2 kHz
任务奖励 r_G
总奖励
PPO 更新

说人话:参考片段告诉机器人"应该长什么样",任务目标告诉它"要干什么",两路奖励加在一起,一边学动作一边学做事

  • 如果把整套方法压缩成一句话,DeepMimic 就是:PPO + 参考动作跟踪 + 模仿奖励 + RSI 与 ET
    • PPO:负责优化,本身没有做任何针对运动模仿的改动
    • 参考动作跟踪:参考片段给出每一时刻的目标姿态,策略逐帧对齐
    • 模仿奖励:把"像不像"变成四项可计算的分数
    • RSI 与 ET:决定样本从哪里开始、在哪里截断,是高动态技能能学起来的前提
  • 这一节只画轮廓,后面的小节按这四个部分逐层具体化:
    • 2-3:把"复现参考动作"写成 MDP,确定优化目标的形态
    • 2-4:定义状态与动作,也就是策略的输入与输出
    • 2-5:说明参考动作在训练中如何被利用,包括相位推进、RSI 与 ET
    • 2-6:把"接近参考"写成可计算的奖励分数
    • 2-7 与 2-8:给出优化算法与实验结果
  • 前后两节的关系是"上一节留下待定的量,下一节把它填实",而不是并列罗列
2-3 运动模仿任务建模
  • 承接 2-2 节的轮廓,建模的第一步是把问题写成 MDP。每个回合是一个固定时域的 MDP,回合在超时、任务成功或触发提前终止时结束
  • 单步奖励由模仿项与任务项线性加权得到 r t = ω I r t I + ω G r t G r_t=\omega^{I}r^{I}_t+\omega^{G}r^{G}_t rt=ωIrtI+ωGrtG其中:
    • ω I \omega^{I} ωI:模仿奖励权重,论文实验中取 0.7 0.7 0.7
    • ω G \omega^{G} ωG:任务奖励权重,论文实验中取 0.3 0.3 0.3
  • 优化目标与 1-3 节给出的标准形式一致,区别在于奖励函数由两部分组成,且初始状态不再固定
  • 初始状态的采样方式正是 RSI(见 2-5 节):每回合开始时,从一个参考片段中均匀采样一个时刻,把角色直接放到该时刻的参考状态上。这一项决定了训练能否覆盖高动态技能的中间阶段
  • 需要注意,任务目标 g t g_t gt 既可以由训练脚本随机生成,也可以在运行时由人给定。前者用于训练策略的泛化能力,后者对应部署时的交互接口
  • 这一节只确定了奖励的分解骨架(模仿项加任务项),单项怎么计算留到 2-6 节;状态与动作也还没有定义,下一节补上
2-4 状态空间与动作空间
  • 2-3 节的 MDP 只声明了状态与动作的存在,本节确定它们包含什么,也就是策略的输入输出接口
  • 状态由角色的本体特征构成,全部在角色的局部坐标系下表达:根节点位于原点, x x x 轴沿根节点的朝向
  • 状态特征分三类
    • 相对位置:每个连杆相对根节点的位置
    • 旋转:每个连杆的朝向,用四元数表示
    • 运动学量:每个连杆的线速度与角速度
  • 把这些特征拼成一个向量,就是策略的观测。观测由三部分拼接而成:本体状态特征、相位、任务目标 o t =   f ( s t ) ; ϕ t ; g t   o_t=\left\\,f(s_t);\\ \\phi_t;\\ g_t\\,\\right ot=f(st); ϕt; gt其中:
    • f ( s t ) f(s_t) f(st):本体状态特征,下文角色表中"状态维数"一列指的就是这一部分
    • ϕ t \phi_t ϕt:相位,标量或三角函数编码,见下文的定义
    • g t g_t gt:任务目标,没有任务时为空,有任务时维度随任务类型变化

说人话:策略的输入包含三个信息:我现在是什么状态、参考动作进行到了哪里、我需要完成什么任务。

  • 观测全部在局部坐标系下表达,与角色的全局朝向、绝对位置无关,因此同一个策略可以用于不同初始朝向的回合
  • 策略是无记忆的前馈网络,不堆叠历史帧。时序信息只靠相位提供,这与后续用循环网络或 Transformer 建模历史的方法形成对比
  • 参考动作在时间轴上推进,需要告诉策略"当前处在片段的哪个位置",这个时间量就是相位 ϕ ∈ 0 , 1 \phi\in0,1 ϕ∈0,1。片段起点对应 ϕ = 0 \phi=0 ϕ=0,终点对应 ϕ = 1 \phi=1 ϕ=1,周期动作在片段结束时回绕到 0 0 0 ϕ t = t T m o d   m o d   1 \phi_t=\frac{t}{T_{\mathrm{mod}}}\bmod 1 ϕt=Tmodtmod1其中:
    • t t t:片段内的当前时刻
    • T m o d T_{\mathrm{mod}} Tmod:片段的周期或总长度
  • 为避免相位在回绕处出现跳变,现代实现送入网络的是它的三角函数编码 ( sin ⁡ 2 π ϕ t , cos ⁡ 2 π ϕ t ) \left(\sin 2\pi\phi_t,\ \cos 2\pi\phi_t\right) (sin2πϕt, cos2πϕt)。论文正文只说明相位作为状态特征之一,三角函数编码属于实现层的处理(见 3-3 节);相机位姿、周期运动这类量也常用同样的方式消除不连续

说人话:相位就是"这段动作放到了第几秒",用正弦余弦表示是因为秒数会从末尾跳回开头,而圆的转角不会

  • 对应的实现如下,相位先做归一化除法,再拼上多频正弦余弦编码
python 复制代码
# 相位:当前时刻 / 片段长度,循环片段取小数部分,非循环片段截断到 1
def calc_motion_phase(motion_time, motion_len, loop_mode):
    phase = motion_time / motion_len
    phase = torch.where(loop_mode == WRAP, phase - torch.floor(phase), phase)
    return phase.clip(0.0, 1.0)

# 相位特征:原始相位 + 2^k 倍频的正弦余弦
def compute_phase_obs(phase, num_freq=4):
    obs = [phase.unsqueeze(-1)]
    if num_freq > 0:
        # 频率按 2 的幂次增长,等价于给相位做位置编码
        freq = 2.0 * math.pi * torch.pow(2.0, torch.arange(num_freq))
        val = phase.unsqueeze(-1) * freq
        obs += [torch.sin(val), torch.cos(val)]
    return torch.cat(obs, dim=-1)
  • 动作空间不是力矩,而是各关节的位置控制目标

    • 球铰关节:目标朝向用轴角表示
    • 转动关节:目标角用标量表示
    • PD 控制器把目标转换为力矩,内部以 1.2 kHz 运行,策略本身以 30 Hz 查询 τ j = k j p ( q j t a r − q j ) − k j d q ˙ j \tau_j=k^{p}_j\left(q^{\mathrm{tar}}_j-q_j\right)-k^{d}_j\dot q_j τj=kjp(qjtar−qj)−kjdq˙j其中:
    • q j t a r q^{\mathrm{tar}}_j qjtar:策略给出的第 j j j 个关节目标角
    • q j q_j qj、 q ˙ j \dot q_j q˙j:当前关节角与角速度
    • k j p k^{p}_j kjp、 k j d k^{d}_j kjd:逐关节的刚度与阻尼增益
  • 这种设计的理由是:低层的刚度、阻尼与系统延迟由 PD 环吸收,策略只需要输出"想摆成什么姿态",不必学习力矩层面的细节。后续四足的 mimic 工作普遍保留了这一接口

  • 论文在四类角色上验证了框架,规模差异如下

角色 连杆数 质量(kg) 身高(m) 自由度 状态维数 动作维数
Humanoid(人形角色) 13 45.0 1.62 34 197 36
Atlas(阿特拉斯人形机器人) 12 169.8 1.82 31 184 32
T-Rex(暴龙) 20 54.5 1.66 55 262 64
Dragon(龙) 32 72.5 1.83 79 418 94
  • 四类角色的外形与关节结构如下,后文的实验都在它们身上完成
  • 表中自由度与动作维数的差别来自角色复杂度:人形与 Atlas 结构接近,T-Rex 与龙用来检验框架对高维动作空间的适应性
  • 至此,策略的输入(观测)与输出(动作)都确定了。但观测里的相位、奖励里要用的参考姿态,都来自同一份参考动作,它如何被推进与使用,是下一节的内容
2-5 参考动作与运动跟踪
  • 参考动作在训练中扮演两个角色:一方面提供每帧的参考状态,用于计算模仿奖励;另一方面提供初始状态,用于 RSI
  • RSI(Reference State Initialization,参考状态初始化) 的核心思想非常简单:
    • 每次开始一个训练回合(Episode),不再固定从参考动作的第一帧开始,而是从参考动作中随机抽取一个时刻,将角色初始化到对应的状态。
  • RSI 解决了两个问题
    • 探索问题:高动态技能的中间阶段(例如空翻的腾空)只能从特定前置状态到达,从静止初始状态出发几乎不可能触及
    • 回报稀疏:失败状态下策略得不到高回报样本,梯度无法指向正确方向

说人话:与其让机器人从站着开始一遍遍摔,不如直接把它放到空翻的半空中,让它从那里继续学

  • 与之配套的是 ET(Early Termination,提前终止) ,它是 DeepMimic 中的一种训练技巧,核心思想是:
    • 当角色严重偏离参考动作,或出现明显失败状态时,提前结束当前回合,而不是继续进行无意义的仿真
    • 论文给出的触发条件有两类:躯干或头部等着地,或部分连杆的高度低于阈值,角色已经倒下
    • 终止之后,本回合剩余时间不再产生奖励,策略不会从"躺在地上挣扎"的片段里采到有效样本
  • 因此 ET 的作用不止是省算力,它改变了奖励分布,大量失败样本被剪掉,等价于一种数据层面的课程。现代实现在这之外还增加了与参考姿态的偏离判据(见 3-3 节)
  • 两个设计各自贡献了多少,论文用消融实验作了检验
  • 图 11 中蓝线为 RSI 与 ET 同时启用,橙线只开 ET,绿线只开 RSI。后空翻与侧空翻两项上,两条单独启用的曲线都明显低于组合版本,其中只开 RSI 的版本几乎学不动
  • 表 5 给出了对应的归一化回报,四项技能中三项的组合版本最优
技能 RSI + ET 仅 ET 仅 RSI
Backflip(后空翻) 0.791 0.730 0.379
Sideflip(侧空翻) 0.823 0.717 0.355
Spinkick(旋风踢) 0.848 0.858 0.479
Walk 0.980 0.981 0.974
  • 从数字上看,组合版本在 Backflip 与 Sideflip 上明显最好;Spinkick 三项接近,其中仅 ET 略高于组合;Walk 三项几乎持平。所以消融支持的是"组合对高动态技能尤其有效",而不是任何技能都必须同时启用两个设计
  • 这一结果与机制的对应关系很清楚:行走一类的地面动作可以从站立状态直接进入有效样本,腾空类动作则需要 RSI 提供可达的初始状态、ET 砍掉不可恢复的分支。差距集中出现在后者,说明两个设计针对的是"高动态技能的可达性",而不是普遍的样本效率
  • 两个设计回答的是"从哪里开始学、什么时候停止学",奖励则回答"朝哪个方向学",下一节把模仿奖励写实
2-6 奖励函数设计
  • 2-3 节只给出了模仿奖励的分解骨架,这一节把四项写实。模仿奖励由四项组成,分别约束关节朝向、关节速度、末端位置与质心位置 r t I = ω p r t p + ω v r t v + ω e r t e + ω c r t c r^{I}_t=\omega^{p}r^{p}_t+\omega^{v}r^{v}_t+\omega^{e}r^{e}_t+\omega^{c}r^{c}_t rtI=ωprtp+ωvrtv+ωerte+ωcrtc其中:
    • ω p , ω v , ω e , ω c \omega^{p},\omega^{v},\omega^{e},\omega^{c} ωp,ωv,ωe,ωc:四项权重,论文取 0.65 0.65 0.65、 0.1 0.1 0.1、 0.15 0.15 0.15、 0.1 0.1 0.1
  • 姿态项比较每个关节的朝向,四元数差异取旋转角,再按关节加权求和 r t p = exp ⁡ − 2 ∑ j ∥ q \^ t j ⊖ q t j ∥ 2 r^{p}_t=\exp\left-2\\sum_{j}\\left\\\|\\hat q\^{j}_t\\ominus q\^{j}_t\\right\\\|\^{2}\\right rtp=exp−2j∑ q\^tj⊖qtj 2其中:
    • q ^ t j \hat q^{j}_t q^tj、 q t j q^{j}_t qtj:参考与仿真中第 j j j 个关节的朝向四元数
    • ⊖ \ominus ⊖:四元数差, ∥ ⋅ ∥ \|\cdot\| ∥⋅∥ 返回该差对应的旋转角
  • 速度项比较关节角速度 r t v = exp ⁡ − 0.1 ∑ j ∥ q ˙ \^ t j − q ˙ t j ∥ 2 r^{v}_t=\exp\left-0.1\\sum_{j}\\left\\\|\\hat{\\dot q}\^{j}_t-\\dot q\^{j}_t\\right\\\|\^{2}\\right rtv=exp−0.1j∑ q˙\^tj−q˙tj 2其中:
    • q ˙ ^ t j \hat{\dot q}^{j}_t q˙^tj:参考关节角速度,由参考序列差分得到
  • 末端项约束手与脚的位置,集合 e e e 为左右脚、左右手 r t e = exp ⁡ − 40 ∑ e ∥ p \^ t e − p t e ∥ 2 r^{e}_t=\exp\left-40\\sum_{e}\\left\\\|\\hat p\^{e}_t-p\^{e}_t\\right\\\|\^{2}\\right rte=exp−40e∑∥p\^te−pte∥2其中:
    • p t e p^{e}_t pte:末端在世界坐标系下的三维位置
  • 质心项约束根节点位置 r t c = exp ⁡ − 10 ∥ p \^ t c − p t c ∥ 2 r^{c}_t=\exp\left-10\\left\\\|\\hat p\^{c}_t-p\^{c}_t\\right\\\|\^{2}\\right rtc=exp−10∥p\^tc−ptc∥2其中:
    • p t c p^{c}_t ptc:角色质心的三维位置
  • 四项都用指数核把误差映射到 ( 0 , 1 ] (0,1] (0,1] 区间,误差为零时取最大值 1。指数系数控制敏感度,数值越大,对误差越苛刻。四项系数相差两个数量级,原因是各误差的量纲不同:四元数夹角以弧度计、位置以米计,末端与质心的容差远小于姿态
  • 任务奖励按任务类型分别定义,目标是"朝向指定方向行走"时 r t G = exp ⁡ − 2.5 max ⁡ ( 0 , v ∗ − v t ⋅ d \^ t ) 2 r^{G}_t=\exp\left-2.5\\max\\left(0,\\ v\^{\*}-\\mathbf{v}_t\\cdot\\hat{\\mathbf{d}}_t\\right)\^{2}\\right rtG=exp−2.5max(0, v∗−vt⋅d\^t)2其中:
    • v ∗ v^{*} v∗:期望速度
    • v t \mathbf{v}_t vt:角色质心速度
    • d ^ t \hat{\mathbf{d}}_t d^t:目标方向单位向量
    • 沿目标方向的分速度超过期望值时,惩罚项为零,即不惩罚"走快了"
  • 对应的实现如下,四项误差分别计算后加权求和
python 复制代码
def imitation_reward(cur, tar, joint_err_w, dof_err_w):
    # 姿态项:逐关节四元数夹角,按关节权重加权后平方求和
    pose_err = (joint_err_w * quat_angle(cur.joint_rot, tar.joint_rot) ** 2).sum(-1)
    # 速度项:关节角速度差
    vel_err = (dof_err_w * (tar.dof_vel - cur.dof_vel) ** 2).sum(-1)
    # 末端项:手脚关键点位置差,先对三个坐标求和,再对末端求和
    ee_err = ((tar.key_pos - cur.key_pos) ** 2).sum(-1).sum(-1)
    # 质心项:根节点位置差
    com_err = ((tar.root_pos - cur.root_pos) ** 2).sum(-1)

    r_pose = torch.exp(-2.0 * pose_err)
    r_vel = torch.exp(-0.1 * vel_err)
    r_ee = torch.exp(-40.0 * ee_err)
    r_com = torch.exp(-10.0 * com_err)

    # 权重与论文一致
    return 0.65 * r_pose + 0.1 * r_vel + 0.15 * r_ee + 0.1 * r_com
  • 这套奖励结构有两点值得记住
    • 每一项都是独立的相似度分数,而不是加权误差和。分数形式让不同量纲的误差可以相加,但它并不自动解决量纲与尺度问题:各分项的实际贡献由指数尺度与权重共同决定,需要分别标定
    • 奖励只依赖参考动作与当前状态,不依赖参考动作的未来信息,因此策略在部署时不需要额外的前瞻

说人话:四项奖励各自打一个 0 到 1 的分,姿态像不像、速度像不像、手脚位置像不像、身体位置像不像,最后按重要程度加权平均

  • 到这里,优化目标已经完整:状态与动作决定了策略能看什么、能做什么,奖励决定了做得好不好,剩下的问题是如何用这些奖励更新网络
2-7 PPO 策略优化
  • 奖励已经写成可计算的分数,本节说明如何用它更新策略。策略网络与价值网络结构相同:两层全连接,隐藏单元数为 1024 与 512,激活函数为 ReLU,输出层为线性
  • 策略输出的是高斯分布的均值,协方差矩阵固定,作为超参数处理而不是网络输出 π θ ( a t ∣ s t ) = N ( μ θ ( s t ) , Σ ) \pi_\theta(a_t\mid s_t)=\mathcal{N}\left(\mu_\theta(s_t),\ \Sigma\right) πθ(at∣st)=N(μθ(st), Σ)其中:
    • μ θ ( s t ) \mu_\theta(s_t) μθ(st):网络输出的动作均值
    • Σ \Sigma Σ:固定的对角协方差矩阵,训练时以动作标准差的形式给出
  • 价值网络的结构与策略网络一致,只是输出层换成一个线性单元,直接输出状态价值 V ψ ( s t ) V_\psi(s_t) Vψ(st)
  • 当状态里加入高度图时,视觉分支先经过三层卷积( 16 × 8 × 8 16\times 8\times 8 16×8×8、 32 × 4 × 4 32\times 4\times 4 32×4×4、 32 × 4 × 4 32\times 4\times 4 32×4×4),再经过一层 64 维全连接,与本体状态拼接后进入 1024 与 512 的全连接层
  • 优化算法是近端策略优化(Proximal Policy Optimization,PPO),目标是截断的重要性采样估计 L c l i p ( θ ) = E min ⁡ ( ρ t A t , c l i p ( ρ t , 1 − ϵ , 1 + ϵ ) A t ) , ρ t = π θ ( a t ∣ s t ) π θ o l d ( a t ∣ s t ) L^{\mathrm{clip}}(\theta)=\mathbb{E}\left\\min\\left(\\rho_t A_t,\\ \\mathrm{clip}\\left(\\rho_t,1-\\epsilon,1+\\epsilon\\right)A_t\\right)\\right,\quad \rho_t=\frac{\pi_\theta(a_t\mid s_t)}{\pi_{\theta_{\mathrm{old}}}(a_t\mid s_t)} Lclip(θ)=Emin(ρtAt, clip(ρt,1−ϵ,1+ϵ)At),ρt=πθold(at∣st)πθ(at∣st)其中:
    • ρ t \rho_t ρt:新旧策略在样本动作上的概率比
    • ϵ \epsilon ϵ:截断阈值,限制单次更新的幅度
    • A t A_t At:优势估计
  • 价值网络与策略使用两种相关但不同的估计:价值函数以 TD(λ) 的多步回报为回归目标,策略的优势则由广义优势估计(Generalized Advantage Estimation,GAE)给出,两者共用同一个衰减系数 λ \lambda λ A t = ∑ l = 0 T − t − 1 ( γ λ ) l δ t + l , δ t = r t + γ V ψ ( s t + 1 ) − V ψ ( s t ) A_t=\sum_{l=0}^{T-t-1}\left(\gamma\lambda\right)^{l}\delta_{t+l},\qquad \delta_t=r_t+\gamma V_\psi(s_{t+1})-V_\psi(s_t) At=l=0∑T−t−1(γλ)lδt+l,δt=rt+γVψ(st+1)−Vψ(st)其中:
    • λ \lambda λ:优势估计的衰减系数,同时决定多步回报的加权方式
    • δ t \delta_t δt:单步时序差分误差
  • 一次完整的训练迭代可以概括为下图

#mermaid-svg-xCJhuiHkY06R6s38{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-xCJhuiHkY06R6s38 .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-xCJhuiHkY06R6s38 .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-xCJhuiHkY06R6s38 .error-icon{fill:#552222;}#mermaid-svg-xCJhuiHkY06R6s38 .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-xCJhuiHkY06R6s38 .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-xCJhuiHkY06R6s38 .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-xCJhuiHkY06R6s38 .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-xCJhuiHkY06R6s38 .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-xCJhuiHkY06R6s38 .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-xCJhuiHkY06R6s38 .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-xCJhuiHkY06R6s38 .marker{fill:#333333;stroke:#333333;}#mermaid-svg-xCJhuiHkY06R6s38 .marker.cross{stroke:#333333;}#mermaid-svg-xCJhuiHkY06R6s38 svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-xCJhuiHkY06R6s38 p{margin:0;}#mermaid-svg-xCJhuiHkY06R6s38 .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-xCJhuiHkY06R6s38 .cluster-label text{fill:#333;}#mermaid-svg-xCJhuiHkY06R6s38 .cluster-label span{color:#333;}#mermaid-svg-xCJhuiHkY06R6s38 .cluster-label span p{background-color:transparent;}#mermaid-svg-xCJhuiHkY06R6s38 .label text,#mermaid-svg-xCJhuiHkY06R6s38 span{fill:#333;color:#333;}#mermaid-svg-xCJhuiHkY06R6s38 .node rect,#mermaid-svg-xCJhuiHkY06R6s38 .node circle,#mermaid-svg-xCJhuiHkY06R6s38 .node ellipse,#mermaid-svg-xCJhuiHkY06R6s38 .node polygon,#mermaid-svg-xCJhuiHkY06R6s38 .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-xCJhuiHkY06R6s38 .rough-node .label text,#mermaid-svg-xCJhuiHkY06R6s38 .node .label text,#mermaid-svg-xCJhuiHkY06R6s38 .image-shape .label,#mermaid-svg-xCJhuiHkY06R6s38 .icon-shape .label{text-anchor:middle;}#mermaid-svg-xCJhuiHkY06R6s38 .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-xCJhuiHkY06R6s38 .rough-node .label,#mermaid-svg-xCJhuiHkY06R6s38 .node .label,#mermaid-svg-xCJhuiHkY06R6s38 .image-shape .label,#mermaid-svg-xCJhuiHkY06R6s38 .icon-shape .label{text-align:center;}#mermaid-svg-xCJhuiHkY06R6s38 .node.clickable{cursor:pointer;}#mermaid-svg-xCJhuiHkY06R6s38 .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-xCJhuiHkY06R6s38 .arrowheadPath{fill:#333333;}#mermaid-svg-xCJhuiHkY06R6s38 .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-xCJhuiHkY06R6s38 .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-xCJhuiHkY06R6s38 .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-xCJhuiHkY06R6s38 .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-xCJhuiHkY06R6s38 .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-xCJhuiHkY06R6s38 .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-xCJhuiHkY06R6s38 .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-xCJhuiHkY06R6s38 .cluster text{fill:#333;}#mermaid-svg-xCJhuiHkY06R6s38 .cluster span{color:#333;}#mermaid-svg-xCJhuiHkY06R6s38 div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-xCJhuiHkY06R6s38 .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-xCJhuiHkY06R6s38 rect.text{fill:none;stroke-width:0;}#mermaid-svg-xCJhuiHkY06R6s38 .icon-shape,#mermaid-svg-xCJhuiHkY06R6s38 .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-xCJhuiHkY06R6s38 .icon-shape p,#mermaid-svg-xCJhuiHkY06R6s38 .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-xCJhuiHkY06R6s38 .icon-shape .label rect,#mermaid-svg-xCJhuiHkY06R6s38 .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-xCJhuiHkY06R6s38 .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-xCJhuiHkY06R6s38 .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-xCJhuiHkY06R6s38 :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 采样初始状态: 从参考片段均匀取时刻
策略在并行环境中滚动
用 GAE 计算优势
PPO 截断目标, 小批量多轮更新
回合终止或超时

  • 论文正文没有列出全部超参数,具体数值放在补充材料中。这一点在阅读时需要注意:论文给定的是一套方法结构,复现时的数值细节需要另行确定
  • 方法至此完整:观测与动作接口(2-4)、参考动作的使用方式(2-5)、奖励函数(2-6)、优化算法(2-7)四个部分都已确定,下一节看这套方法在实验中的表现
2-8 论文结果与实验
  • 方法在前几节已经完整,本节看它的实验结果。论文在多类技能上报告了归一化回报(Normalized Return,NR),定义为把每回合回报按该回合可能的最小值与最大值归一化到 0 到 1 区间,再跨 32 个回合取平均。下表摘录了部分结果
技能 片段长度(s) 归一化回报
Jog(慢跑) 0.80 0.951
Run(奔跑) 0.80 0.951
Backflip(后空翻) 1.75 0.729
Cartwheel(侧手翻) 2.72 0.804
Spinkick(旋风踢) 1.28 0.748
Crawl(匍匐爬行) 2.93 0.932
  • 下图展示了部分训练后策略的动作快照,自上而下依次为行走、奔跑、侧手翻、舞蹈、后空翻、前空翻与翻滚
  • 把范围扩大,图 6 汇总了四类角色与多种技能的执行快照:Atlas 的行走、奔跑、后空翻与旋风踢,T-Rex 与龙的行走,以及人体的侧空翻、回旋、翻滚起身、踢腿、翻越与匍匐
  • 这张图说明框架具有较好的跨角色适用性:更换角色模型与参考动作后,运动跟踪的整体思路仍然成立,但骨骼拓扑、关节结构与控制方式一变,动作重定向、状态表示、动作接口与相关奖励都要跟着调整;迁移到四足时处理的就是这部分工作
  • 任务组合的结果更能说明奖励组合的作用
    • 旋风踢任务中,同时优化模仿与任务目标的策略命中率为 99%,只优化模仿目标的策略只有 19%
    • 投掷任务中,两个数字分别是 75% 与 5%

说人话:只会模仿的策略学不会"打到目标",任务奖励必须显式加进去,但去掉模仿奖励之后动作会变得很奇怪,两者缺一不可

  • 多片段整合方面,论文比较了三种方案
    • 多片段奖励:取各片段模仿奖励的最大值,一个策略同时覆盖多段动作,学到的切换较自然
    • 技能选择器:把技能编号以独热向量并入任务目标,用一个人为给定的指令切换技能
    • 复合策略:分别训练单技能策略,再按价值函数构造玻尔兹曼分布进行组合,适合风格差异大的技能库
  • 论文同时展示了跨角色迁移的结果:把人体动作重定向到 Atlas 机器人后重新训练,策略仍能复现走路、空翻与旋风踢;带高度图输入的策略还能在随机地形上行走。

3 MimicKit:运动模仿算法的统一实现框架

3-1 MimicKit 项目介绍与环境搭建
  • MimicKit 是 DeepMimic 作者团队在 2025 年发布的统一实现。它把 DeepMimic、AMP、ASE、AWR、LCP、ADD、SMP 等方法放进同一套代码,通过配置切换算法与环境
  • 2018 年的原始工程使用 TensorFlow 1、Bullet 2.88、SWIG 绑定与 MPI 并行,依赖链条较长,作者已在项目首页说明该工程停止维护并指向 MimicKit。因此本文的代码对照以 MimicKit 为准
  • MimicKit 的运行环境可以拆成四类依赖
组件 作用
Python 与 PyTorch 策略网络、价值网络与训练器
仿真引擎后端 Isaac Gym、Isaac Lab、Newton 三选一,提供 GPU 并行仿真
YAML 配置 引擎、环境、智能体三份配置,描述一次实验的全部设置
动作数据 以 .pkl 保存的参考片段,包含根位姿与关节角序列
  • 一次实验由三份配置组装:引擎配置指定后端与并行环境数,环境配置指定角色模型、参考数据、奖励权重与终止条件,智能体配置指定算法与超参数。这种拆分对应论文里的"角色 + 参考动作 + 训练算法"三个输入
  • 环境搭建的关键不是安装步骤本身,而是理解三者的耦合点:换角色要同时改角色文件与关键点定义,换动作要改参考数据与片段长度,换算法只需替换智能体配置
3-2 整体工程架构
  • 框架分成四层,配置层描述实验,运行层的四个组件各司其职

#mermaid-svg-HB7soQ074IpJ4KrV{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-HB7soQ074IpJ4KrV .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-HB7soQ074IpJ4KrV .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-HB7soQ074IpJ4KrV .error-icon{fill:#552222;}#mermaid-svg-HB7soQ074IpJ4KrV .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-HB7soQ074IpJ4KrV .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-HB7soQ074IpJ4KrV .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-HB7soQ074IpJ4KrV .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-HB7soQ074IpJ4KrV .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-HB7soQ074IpJ4KrV .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-HB7soQ074IpJ4KrV .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-HB7soQ074IpJ4KrV .marker{fill:#333333;stroke:#333333;}#mermaid-svg-HB7soQ074IpJ4KrV .marker.cross{stroke:#333333;}#mermaid-svg-HB7soQ074IpJ4KrV svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-HB7soQ074IpJ4KrV p{margin:0;}#mermaid-svg-HB7soQ074IpJ4KrV .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-HB7soQ074IpJ4KrV .cluster-label text{fill:#333;}#mermaid-svg-HB7soQ074IpJ4KrV .cluster-label span{color:#333;}#mermaid-svg-HB7soQ074IpJ4KrV .cluster-label span p{background-color:transparent;}#mermaid-svg-HB7soQ074IpJ4KrV .label text,#mermaid-svg-HB7soQ074IpJ4KrV span{fill:#333;color:#333;}#mermaid-svg-HB7soQ074IpJ4KrV .node rect,#mermaid-svg-HB7soQ074IpJ4KrV .node circle,#mermaid-svg-HB7soQ074IpJ4KrV .node ellipse,#mermaid-svg-HB7soQ074IpJ4KrV .node polygon,#mermaid-svg-HB7soQ074IpJ4KrV .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-HB7soQ074IpJ4KrV .rough-node .label text,#mermaid-svg-HB7soQ074IpJ4KrV .node .label text,#mermaid-svg-HB7soQ074IpJ4KrV .image-shape .label,#mermaid-svg-HB7soQ074IpJ4KrV .icon-shape .label{text-anchor:middle;}#mermaid-svg-HB7soQ074IpJ4KrV .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-HB7soQ074IpJ4KrV .rough-node .label,#mermaid-svg-HB7soQ074IpJ4KrV .node .label,#mermaid-svg-HB7soQ074IpJ4KrV .image-shape .label,#mermaid-svg-HB7soQ074IpJ4KrV .icon-shape .label{text-align:center;}#mermaid-svg-HB7soQ074IpJ4KrV .node.clickable{cursor:pointer;}#mermaid-svg-HB7soQ074IpJ4KrV .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-HB7soQ074IpJ4KrV .arrowheadPath{fill:#333333;}#mermaid-svg-HB7soQ074IpJ4KrV .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-HB7soQ074IpJ4KrV .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-HB7soQ074IpJ4KrV .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-HB7soQ074IpJ4KrV .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-HB7soQ074IpJ4KrV .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-HB7soQ074IpJ4KrV .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-HB7soQ074IpJ4KrV .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-HB7soQ074IpJ4KrV .cluster text{fill:#333;}#mermaid-svg-HB7soQ074IpJ4KrV .cluster span{color:#333;}#mermaid-svg-HB7soQ074IpJ4KrV div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-HB7soQ074IpJ4KrV .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-HB7soQ074IpJ4KrV rect.text{fill:none;stroke-width:0;}#mermaid-svg-HB7soQ074IpJ4KrV .icon-shape,#mermaid-svg-HB7soQ074IpJ4KrV .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-HB7soQ074IpJ4KrV .icon-shape p,#mermaid-svg-HB7soQ074IpJ4KrV .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-HB7soQ074IpJ4KrV .icon-shape .label rect,#mermaid-svg-HB7soQ074IpJ4KrV .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-HB7soQ074IpJ4KrV .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-HB7soQ074IpJ4KrV .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-HB7soQ074IpJ4KrV :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 运行层
配置层
引擎 YAML
环境 YAML
智能体 YAML
Engine: 并行仿真与物理
Environment: 观测 / 奖励 / 终止
Model: 策略与价值网络
Agent: 采样与参数更新

  • 这一划分与论文概念的对应关系如下
论文概念 框架中的位置 说明
角色模型与参考动作 Environment 环境持有角色模型,加载参考片段,维护相位
状态特征 Environment 本体状态与相位在环境侧拼接后送入策略
模仿奖励与任务奖励 Environment 奖励函数按配置组装,DeepMimic 的奖励是一个独立函数
策略网络与价值网络 Model 网络结构与初始化尺度在配置中指定
PPO 更新 Agent 采样、优势估计与参数更新
  • 这里有一点值得强调:DeepMimic 在框架里没有独立的算法实现,智能体就是通用的 PPO,方法本身全部落在环境侧。这与论文的分工一致,也说明模仿类方法的研究重心在观测与奖励,而不是优化器
3-3 DeepMimic 核心代码解析
  • 以下四段代码是根据源码整理的核心逻辑,为了让逻辑更紧凑,函数签名做了合并,与论文公式逐项对应
  • 需要注意,论文的状态定义与具体实现的观测配置并不完全等价:实现里可以通过配置选择全局或局部观测,还会额外加入根高度、未来参考姿态等信息,下面的观测构建以默认配置为例
  • 第一段是观测拼接,状态特征、相位与未来若干帧的参考姿态依次拼接
python 复制代码
def build_obs(char_state, phase, ref_future):
    # 本体状态:根位置、根朝向、根速度、根角速度、关节旋转、关节速度、关键点
    obs = [char_state.root_pos, char_state.root_rot,
           char_state.root_vel, char_state.root_ang_vel,
           char_state.joint_rot, char_state.dof_vel,
           char_state.key_pos]

    # 相位:告诉网络当前处在参考动作的哪个阶段
    obs.append(compute_phase_obs(phase))

    # 未来若干帧的参考姿态,属于现代实现的补充输入
    obs.append(ref_future.flatten(start_dim=1))

    return torch.cat(obs, dim=-1)
  • 第二段是奖励函数,四项误差分别取指数后加权求和
python 复制代码
def compute_reward(cur, tar, joint_err_w, dof_err_w,
                   pose_w, vel_w, root_pose_w, root_vel_w, key_pos_w,
                   pose_scale, vel_scale, root_pose_scale, root_vel_scale, key_pos_scale):
    # 姿态:逐关节四元数夹角
    pose_err = (joint_err_w * quat_angle(cur.joint_rot, tar.joint_rot) ** 2).sum(-1)
    # 关节速度
    vel_err = (dof_err_w * (tar.dof_vel - cur.dof_vel) ** 2).sum(-1)
    # 根位置:对应论文的质心项
    root_pos_err = ((tar.root_pos - cur.root_pos) ** 2).sum(-1)
    # 根朝向:论文中并入质心项,这里单独拆出
    root_rot_err = quat_angle(cur.root_rot, tar.root_rot) ** 2
    # 根线速度与角速度
    root_vel_err = ((tar.root_vel - cur.root_vel) ** 2).sum(-1)
    root_ang_vel_err = ((tar.root_ang_vel - cur.root_ang_vel) ** 2).sum(-1)
    # 末端关键点
    key_pos_err = ((tar.key_pos - cur.key_pos) ** 2).sum(-1).sum(-1)

    r = pose_w * torch.exp(-pose_scale * pose_err) \
      + vel_w * torch.exp(-vel_scale * vel_err) \
      + root_pose_w * torch.exp(-root_pose_scale * (root_pos_err + 0.1 * root_rot_err)) \
      + root_vel_w * torch.exp(-root_vel_scale * (root_vel_err + 0.1 * root_ang_vel_err)) \
      + key_pos_w * torch.exp(-key_pos_scale * key_pos_err)
    return r
  • 第三段是终止判定,包含着地检测、姿态偏离与首步豁免
python 复制代码
def compute_done(time, ep_len, body_pos, tar_body_pos, contact_force, contact_ids,
                 pose_termination, pose_termination_dist, enable_early_termination):
    timeout = time >= ep_len
    done = timeout.clone()

    if enable_early_termination:
        # 躯干等非接触部位着地,判定为摔倒
        masked = contact_force.clone()
        masked[:, contact_ids, :] = 0
        failed = (masked.abs() > 0.1).any(dim=-1).any(dim=-1)

        # 与参考姿态的偏差,取偏差最大的刚体
        if pose_termination:
            diff = ((tar_body_pos - body_pos) ** 2).sum(-1).max(dim=-1)[0]
            failed |= diff > pose_termination_dist ** 2

        # 第一步不判失败:RSI 直接把角色放到参考状态上
        done |= failed & (time > 0.0)
    return done
  • 第四段是相位与初始化,对应论文的 RSI
python 复制代码
def calc_phase(times, motion_len, loop_mode):
    phase = times / motion_len
    # 循环片段回绕,非循环片段截断
    phase = torch.where(loop_mode == WRAP, phase - torch.floor(phase), phase)
    return phase.clip(0.0, 1.0)

def sample_init_time(n, motion_len):
    # 在片段内均匀采样时刻,这一步就是参考状态初始化
    return torch.rand(n) * motion_len
  • 与论文原文相比,这一实现有几处改动,阅读时应当分清哪些是等价改写、哪些是新增设计
项 论文 MimicKit 实现
奖励项数 4 项 5 项,把质心项拆成根位姿与根速度
奖励权重 0.65 / 0.1 / 0.15 / 0.1 0.5 / 0.1 / 0.15 / 0.1 / 0.15
指数尺度 2 / 0.1 / 40 / 10 0.25 / 0.01 / 5.0 / 1.0 / 10.0
相位观测 显式正弦余弦,多片段时必需 默认关闭,开启后使用多频位置编码
额外输入 无 未来若干帧的参考姿态
训练后端 TensorFlow 1 + MPI,Bullet PyTorch PPO,GPU 并行仿真
  • 两点结论:奖励项的拆分与指数尺度的变化属于参数化调整,结构没有变;未来帧观测与可关闭的相位属于后续改进,不能当作论文原始设定
3-4 参考动作数据处理
  • 参考片段以 .pkl 保存,逐帧存储根位置、根朝向与关节角。朝向使用三维指数映射表示,而不是四元数,这样可以减少存储并避免双覆盖问题
python 复制代码
# 每帧的数据布局:根位置 3 维、根朝向 3 维(指数映射)、关节角若干维
root_pos, root_rot, joint_dof = frame[..., 0:3], frame[..., 3:6], frame[..., 6:]
  • 片段加载后按时间轴建立索引,运行时的查询包含两步
    1. 由当前时刻算出相位,用于观测
    2. 由当前时刻插值出参考根位姿与关节角,用于奖励
  • 多片段数据集还会记录每个片段的权重,采样时按长度加权,避免长片段主导训练
  • 论文里的 0.5 ∼ 5 0.5\sim 5 0.5∼5 s 片段对应到实现中,就是片段长度字段的取值范围;循环类动作(行走、奔跑)在片段末尾回绕,非循环动作(空翻)在末尾终止
3-5 训练流程与关键参数
  • 训练流程与 2-7 节一致,配置上的关键参数如下
参数 Humanoid Go2 含义
网络结构 两层 1024 两层 1024 策略与价值网络同构
动作标准差 0.05 0.1 高斯策略的固定动作标准差
学习率 1e-4 2e-4 策略与价值分别设置
折扣因子 0.99 0.99 回报折扣
GAE 系数 0.95 0.95 优势估计衰减
截断阈值 0.2 0.2 PPO 概率比截断
每轮步数 32 32 一次迭代的滚动长度
更新轮数 5 5 策略网络每批数据的复用次数
  • 优化器使用随机梯度下降,这一选择与论文一致。网络结构、折扣因子、GAE 系数与 PPO 截断阈值在各角色之间保持一致;学习率与动作标准差随角色和训练配置调整,四足的动作维度更低、单步改动更敏感,因此动作标准差取值更大
  • 并行环境数在配置中指定,常用量级为数千。并行环境同时承担两件事:增加每轮样本量,以及让不同环境处在参考片段的不同阶段,等价于自动化的 RSI 覆盖
3-6 仿真结果与论文对照
  • 在 MimicKit 论文的基准配置下,横向比较的结论是:DeepMimic 与 ADD 在跟踪精度上最强,能够精确复现参考片段;AMP 的风格更灵活但逐帧精度较低;ASE 与 SMP 介于两者之间。这一排序与各方法的奖励形式是对应的,跟踪类方法直接用逐帧误差做奖励,先验类方法把精度让渡给了泛化能力。它反映的是该基准下的取舍,不代表 AMP 在所有任务上都最差
  • 对照论文与实现时,需要区分三类差异
    • 等价改写:奖励项拆分、函数签名合并、朝向表示从四元数换成指数映射
    • 参数调整:权重与指数尺度的重新标定,与仿真引擎、控制频率有关
    • 新增设计:未来帧观测、可关闭的相位、更大的并行规模
  • 对四足方向最有价值的一点,是同一套 DeepMimic 接口已经有四足配置:角色模型是 Unitree Go2,关键点取四只脚,参考动作为步态片段,姿态终止距离为 0.5 m。也就是说,本文前面拆解的每一个量,在四足上都有直接对应物
  • 需要区分的是,同一角色在仓库里还配有 ADD 的预设,两者共享角色模型,但算法、奖励与观测配置都不同,本文对照的是 DeepMimic 这一套
  • 因此这一章的作用可以概括为:论文给出方法的定义与动机,实现给出落地时的具体取值。两者对照阅读,才能分清哪些设计是方法的核心,哪些是特定工程的产物

总结

  • 本文从运动模仿的基本框架出发,逐项拆解了 DeepMimic 的任务建模、状态与动作空间、奖励函数、PPO 训练与多技能整合,并用 MimicKit 中的实现对照了论文里的每一个量
  • 核心要点回顾:
    • 参考动作与相位:参考片段提供逐帧目标与初始状态,相位把"片段推进到哪"编码成观测
    • 动作接口:策略输出 PD 控制器的位置目标,而不是力矩,低层控制细节由 PD 环吸收
    • 奖励结构:四项指数核分别约束姿态、速度、末端与质心,任务奖励与模仿奖励加权组合
    • RSI 与 ET:两个训练设计共同保证高动态技能的可达性,消融实验显示单独使用都不足
    • 多技能整合:多片段奖励、技能选择器与复合策略分别对应不同的技能库规模
    • 实现对照:现代实现在奖励拆分、相位观测与并行规模上做了调整,但接口与论文一致,且已经支持四足角色
  • 下一篇将讨论 AMP:它把本文这四项手工设计的模仿奖励,替换成一个对抗训练的判别器
  • 如有错误,欢迎指出!
  • 感谢观看!
相关推荐
zh路西法2 天前
【细谈Actor-Critic】随机策略与确定性策略的梯度传递(下)——A2C、DDPG、TD3、PPO、SAC 五个算法的落地
a2c·actor-critic·ppo·ddpg·sac
小易老师AI实战1 个月前
RLHF深度详解(超通俗+原理+工程+对比):大模型对齐的核心基石
人工智能·大模型·sft·rlhf·ppo·人类反馈强化学习·llm 对齐
爱听歌的周童鞋1 个月前
Steve Brunton | Reinforcement Learning | 笔记 | Lecture 1 | 强化学习:机器学习与控制理论的交汇
rl·value·q-learning·policy·reward·steve brunton
盘古开天16662 个月前
PPO算法原理详解(上):从策略梯度到近端策略优化的演进之路
人工智能·算法·机器学习·强化学习·ppo
zh路西法2 个月前
【上手一只MicroDuck】:(一)从机器人结构到强化学习训练框架
python·强化学习·huggingface·ppo·mujoco·microduck
闲研随记2 个月前
RL算法学习:ArgMaxRL
算法·llm·强化学习·rl
Hello Mr.Z2 个月前
microduck_rl(MuJoCo+PPO+WandB+UV训练机器人)
机器人·uv·rl·ppo·microduck
指针常量3 个月前
【RL系列文章】难样本学习等
学习·大语言模型·rl·后训练
thesky1234563 个月前
27届大模型面试准备(七十三):大模型强化学习对齐工程实战——RLHF、PPO 与 GRPO 的训练流水线
大模型·rlhf·奖励模型·ppo·dpo·grpo·强化学习对齐