第一部分 SuperMimic: Scaling Humanoid Whole-Body Controlwith One Differentiable World Model
1.1 引言与相关工作
1.1.1 引言
人形机器人有望在为人类设计的环境中运行，但要实现这一点，就需要能够覆盖多样化人体运动的全身控制器，这些运动包括行走、舞蹈、下蹲以及平衡恢复等
基于物理的运动模仿通过训练强化学习策略来追踪从大规模动作捕捉（mocap）数据集中提取的参考运动片段1，从而解决这一问题2
现有系统通过两种方式来扩展这一思路：
- 要么将众多针对单个片段的专家策略蒸馏为一个控制器3
- 要么在一个大型动作库之上训练一个通用策略 1
在这两种情况下，更加多样化的动作库都会带来更强大的控制器。然而，随着动作覆盖面的扩大，这两种方法的计算代价也都会显著增加：例如，最先进的跟踪器 SONIC 1 的训练时间约为在 128 块 GPU 上运行 168 小时，总计约 21,000 个 GPU 小时。尽管参考动作本身不同，但它们共享相同的人形混合刚体动力学。无模型强化学习并未显式建模这一共享结构，而是反复通过含噪的模拟器 rollout 来估计动作后果。因此，扩展到更多动作在本质上就等同于扩展计算量
-
SuperMimic 通过一个++从已记录的模拟器状态转移中学习得到的、可微分的单一世界模型++ 来解决这一低效问题
对短暂的想象 rollout 执行时间反向传播（Backpropagation-through-time,BPTT），即可通过该学习模型获得解析形式的策略梯度，从而使一个动力学模型得以在整个动作捕捉（mocap）库上摊销学习成本
由于这些梯度来源于学习得到的模型而非对模拟器本身求导，SuperMimic 依然能够兼容刚体模拟器，包括那些具有非光滑接触以及非可微实现的模拟器 -
在单块 GPU 上，SuperMimic 只用 3 小时就超过了 SONIC 已发布 checkpoint 的归一化回报，并将 GPU 计算小时数减少了超过 1000 倍（§4.1）
在一个包含 129,514 个动作的基准测试中，SuperMimic 在单块 GPU 上运行 3 小时时有 25 个动作失败，而在两块 GPU 上运行9.8 小时后则全部成功；相比之下，SONIC 已发布的 checkpoint 有 179 个动作失败（附录F）在数据集长度增加 264 倍的情况下，世界模型的预测误差保持稳定，而 SuperMimic 达到固定回报所需的计算量仅缓慢增长。学习得到的策略能够迁移到真实的 Unitree G1 机器人上。在对下游接口的初步研究中，用强化学习训练得到的速度编码器优于蒸馏基线方法
1.1.2 相关工作
第一，对于大规模基于物理的运动跟踪
基于物理的运动模仿通过在富含接触的刚体动力学环境下学习控制器，使其能够复现参考动作
-
DeepMimic 2 通过无模型强化学习展示了具有高度表现力的人物技能
PHC 11 则将这一范式扩展到大规模动作集，并具备鲁棒的恢复能力SONIC 1 进一步表明，在扩大量化的动作数据、策略容量以及训练算力后，可以得到能够迁移到仿人硬件的一般型控制器
-
上面 这些结果确立了运动跟踪作为实现广泛全身行为覆盖的一条切实可行的路径。然而，训练这些大规模运动跟踪器需要大量的模拟器 rollout 和巨大的计算开销
而SuperMimic 通过学习一个在所有动作间共享的可微分动力学模型来缓解这一瓶颈，使得策略改进可以利用解析梯度，而不是依赖无模型的 rollout 估计
第二，对于用于运动控制的可学习可微分动力学
-
SuperTrack 12 通过一个可学习的、可微分的模拟器替代模型来优化运动控制策略
这些方法共同证明了在可扩展的虚拟角色控制中，引入可学习动力学与解析策略梯度的有效性 -
SuperMimic 在这一方向上进一步推进，实现了在单块 GPU 上对大规模仿人追踪器的训练以及其从仿真到真实的部署：其世界模型以模拟器上下文为条件，而部署时的 actor 则使用带噪的本体感知观测和目标输入（§3.2）。
作者评估了模型精度、rollout 吞吐量以及可微分策略更新如何影响训练效率，以及在运动覆盖范围不断扩大的过程中预测误差的变化行为（§4.1--4.2），并展示了最终控制器的物理部署效果（§4.4）
第三，对于基于模型的策略优化与机器人部署
-
-
SHAC 19 利用可微分仿真进行短视距的演员--评论家更新，这为SuperMimic 的由评论家自举（critic-bootstrapped）目标提供了动机
解析梯度（analytic-gradient）机器人控制同样可以将简化的可微分代理模型与高保真前向仿真器结合使用，正如在四足机器人行走控制中的应用所示 20
SuperMimic 从仿真器的状态转移中学习其代理模型，并通过短期的想象 rollout 进行反向传播，同时保持与标准刚体仿真器的兼容性 -
RWM 21 和 RWM-U 22 证明了在学习得到的神经模拟器中训练的策略可以迁移到真实机器人上。二者都在想象的 rollout 上使用 PPO 来优化策略；RWM-U 还额外采用带有不确定性惩罚的离线优化
相比之下，SuperMimic 则通过对其学习到的动力学进行回报的可微分优化来训练策略。RWM 和 RWM-U 在来自其他策略的轨迹上预训练世界模型。而 SuperMimic 则相反，它在训练过程中用自身策略收集到的数据来拟合世界模型
第四，对于可复用的运动表示与下游控制
可复用控制器将运动跟踪连接到下游目标接口（表1）
-
NPMP 5 和 PhysicsVAE 7 从专家行为中学习潜在的运动表征
PULSE 8 和LATENT 10 则使用已学习的运动表征来进行下游强化学习MaskedMimic 9 通过运动补全支持部分身体和多模态目标，而 BeyondMimic 3 则使用引导式扩散来实现目标
SONIC 1 通过跟踪奖励和潜在对齐损失，将目标编码器与其跟踪器进行联合训练。ControlVAE 6 在冻结技能控制器的情况下，通过其学习到的模型来优化下游任务策略
-
SuperMimic 在同一个动力学模型下（附录 B），联合训练目标特定的编码器和共享解码器。目标接口既可以优化参考跟踪奖励，也可以优化其自身的任务奖励
作者认为，他们的初步研究同时训练一个速度接口和一个动作跟踪接口，并分别基于每个目标函数进行训练（§4.5）
1.2 SuperMimic的完整方法论
1.2.1 SuperMimic 训练循环
SuperMimic 在一个多技能动作库上训练单一的、基于目标条件的全身控制器，并支持多种目标接口。它在一个可微分的世界模型中刻画共享的人形动力学，并通过短暂的虚拟回放（imagined rollouts）来提升策略。训练过程在一个循环中交替进行三个阶段（图2）
- 首先，当前策略从仿真器中收集状态转移数据，并存入重放缓冲区
First, the current policy collects simulator transitions into a replay buffer - 其次，作者将可微分世界模型拟合到来自重放缓冲区的短时间窗口数据上
Second, we fit the differentiable world model to short replay windows. - 第三，在冻结的世界模型中，通过反向传播虚拟回报来改进策略，每一次回放都以重放缓冲区中的某个状态为初始状态，类似于Dyna 方法 23,24
Third, the policy is improved bybackpropagating an imagined returnthrough the frozen world model, with each rollout seeded from a replay-buffer state in the Dyna style 23, 24.
在整个训练过程中，缓冲区、模型和策略都会被持续更新，因此动力学学习与控制能力是同步提升的，而不是分成相互独立的阶段（算法A.1，附录D）。来自早期策略的状态转移在拟合世界模型时仍然有效，因为动力学与收集这些数据的策略无关
作者将目标条件部分可观测马尔可夫决策过程（POMDP）记为，并使用紧凑记号表示状态
、目标
和动作
-
状态
在状态
策略是确定性的，对于运动跟踪，
-
在数据收集期间，模拟器执行带噪动作
噪声拓宽了用于拟合世界模型的动作范围；它只服务于模型拟合，是可选的 -
回报使用软生存权重，
其中折扣因子
模拟器记录硬终止，而学习到的模型预测终止概率
-
作者还将观测分解为
默认的接口是全参考（full-reference）运动跟踪。其他目标接口（例如速度）与运动跟踪共享相同的已学习动力学模型，并与运动跟踪联合训练（见附录 B）
1.2.2 学习一个可微分的世界模型
模拟器的关节多刚体动力学是已知的，但模拟器本身不需要提供梯度，因此SuperMimic 学习一个可微的代理模型来获得策略梯度：它为第 §3.3 节中的 BPTT 更新提供预测值和雅可比矩阵
-
由此得到的解析策略梯度，是仿真中期望回报代理函数的梯度
由于模拟器中的随机性来源是已知的，世界模型保持为确定性的：它以每个回合的仿真上下文
-
世界模型由一个已学习的动力学模型以及奖励、观测和终止（termination）头部组成；
每个头部要么通过学习获得，要么通过解析方式计算
// 待更