全文 - Evolution Strategies as a Scalable Alternative to Reinforcement Learning

进化策略：一种可扩展的强化学习替代方法

---

摘要

我们探索了进化策略（Evolution Strategies, ES）------一类黑盒优化算法------作为流行的基于马尔可夫决策过程（MDP）的强化学习技术（如 Q-learning 和策略梯度）的替代方案。在 MuJoCo 和 Atari 上的实验表明，ES 是一种可行的解决方案策略，其扩展性极其优异：通过使用一种基于公共随机数的新型通信策略，我们的 ES 实现仅需传输标量，使其能够扩展到超过一千个并行工作节点。这使我们能够在 10 分钟内解决 3D 人形行走问题，并在大多数 Atari 游戏上经过一小时训练后获得有竞争力的结果。此外，我们强调了 ES 作为黑盒优化技术的几个优势：它对动作频率和延迟奖励具有不变性，能够容忍极长的时间范围，并且不需要时间折扣或值函数近似。

1 引言

开发能够在复杂、不确定环境中完成具有挑战性任务的智能体是人工智能的一个关键目标。最近，分析此类问题最流行的范式是使用一类基于马尔可夫决策过程（MDP）形式化和值函数概念的强化学习（RL）算法。这一方法的成功包括从像素中学习玩 Atari 游戏 Mnih et al., 2015、执行直升机特技飞行 Ng et al., 2006，以及达到专家级别的围棋水平 Silver et al., 2016。

解决强化学习问题的另一种方法是使用黑盒优化。当应用于神经网络时，这种方法被称为直接策略搜索 Schmidhuber and Zhao, 1998 或神经进化 Risi and Togelius, 2015。在本文中，我们研究进化策略（ES）Rechenberg and Eigen, 1973，这类算法中的一个特定集合。我们展示了 ES 能够可靠地训练神经网络策略，以一种非常适合扩展到现代分布式计算系统的方式，用于控制 MuJoCo 物理模拟器 Todorov et al., 2012 中的机器人以及使用像素输入玩 Atari 游戏 Mnih et al., 2015。我们的主要发现如下：

1. 我们发现，使用虚拟批归一化 Salimans et al., 2016 和神经网络策略的其他重新参数化（第 2.2 节）极大地提高了进化策略的可靠性。没有这些方法，ES 在我们的实验中被证明是脆弱的，但有了这些重新参数化，我们在各种环境中都取得了良好的结果。

2. 我们发现进化策略方法高度可并行化：通过引入一种基于公共随机数的新型通信策略，我们能够在使用超过一千个工作节点时实现运行时间的线性加速。特别是，使用 1,440 个工作节点，我们能够在不到 10 分钟内解决 MuJoCo 3D 人形任务。

3. 进化策略的数据效率出奇地好：在大多数 Atari 环境中，我们能够匹配 A3C Mnih et al., 2016 的最终性能，同时仅使用 3 到 10 倍的数据。数据效率的轻微下降部分被所需计算量约 3 倍的减少所抵消，这是由于不执行反向传播且没有值函数。我们的一小时 ES 结果需要与 A3C 已发布的一天结果大致相同的计算量，在测试的 23 个游戏中表现更好，在 28 个游戏中表现更差。在 MuJoCo 任务上，我们能够匹配信赖域策略优化 TRPO; Schulman et al., 2015 的学习策略性能，使用不超过 10 倍的数据。

4. 我们发现 ES 表现出比 TRPO 等策略梯度方法更好的探索行为：在 MuJoCo 人形任务上，ES 能够学习非常多种类的步态（如侧向行走或向后行走）。这些不寻常的步态在 TRPO 中从未被观察到，这表明了一种定性不同的探索行为。

5. 我们发现进化策略方法是鲁棒的：我们使用固定的超参数在所有 Atari 环境中实现了上述结果，并为所有 MuJoCo 环境使用了另一组固定的超参数（除了一个二元超参数，它在不同的 MuJoCo 环境之间没有保持一致）。

黑盒优化方法具有几个非常有吸引力的特性：与奖励分布无关（稀疏或密集）、无需反向传播梯度、容忍潜在任意长的时间范围。然而，它们被认为在解决困难的强化学习问题方面不如 Q-learning 和策略梯度等技术有效。我们这项工作的贡献------我们希望这将重新激发人们对这类方法的兴趣并带来新的有用应用------是证明进化策略可以与当今深度强化学习社区研究的最困难环境上竞争算法相媲美，并且这种方法可以扩展到更多的并行工作节点。

2 进化策略

进化策略（ES）是一类黑盒优化算法 Rechenberg and Eigen, 1973, Schwefel, 1977，是受自然进化启发的启发式搜索过程：在每次迭代（"代"）中，一组参数向量（"基因型"）被扰动（"变异"），并评估其目标函数值（"适应度"）。得分最高的参数向量被重新组合以形成下一代的群体，这个过程重复进行直到目标完全优化。这类算法在它们如何表示群体以及如何执行变异和重组方面有所不同。ES 类中最广为人知的成员是协方差矩阵自适应进化策略 CMA-ES; Hansen and Ostermeier, 2001，它用全协方差多元高斯表示群体。CMA-ES 在解决低到中等维度的优化问题方面极其成功。

我们在本工作中使用的 ES 版本属于自然进化策略（NES）类 Wierstra et al., 2008, 2014, Yi et al., 2009, Sun et al., 2009, Glasmachers et al., 2010a,b, Schaul et al., 2011，并且与 Sehnke et al. 2010 的工作密切相关。令 FFF 表示作用于参数 θ\thetaθ 的目标函数。NES 算法用参数上的分布 pψ(θ)p_\psi(\theta)pψ(θ) ------本身由 ψ\psiψ 参数化------表示群体，并通过随机梯度上升来最大化群体上的平均目标值 Eθ∼pψF(θ)\mathbb{E}{\theta \sim p\psi} F(\theta)Eθ∼pψF(θ) 来搜索 ψ\psiψ。具体来说，使用 Eθ∼pψF(θ)\mathbb{E}{\theta \sim p\psi} F(\theta)Eθ∼pψF(θ) 的得分函数估计器，类似于 REINFORCE Williams, 1992 的方式，NES 算法使用以下估计器对 ψ\psiψ 进行梯度步骤：

∇ψEθ∼pψF(θ)=Eθ∼pψ{F(θ)∇ψlog⁡pψ(θ)}\nabla_\psi \mathbb{E}{\theta \sim p\psi} F(\theta) = \mathbb{E}{\theta \sim p\psi} \left\{ F(\theta) \nabla_\psi \log p_\psi(\theta) \right\}∇ψEθ∼pψF(θ)=Eθ∼pψ{F(θ)∇ψlogpψ(θ)}

对于 pψp_\psipψ 为因子化高斯的特殊情况（如本工作），得到的梯度估计器也被称为同步扰动随机逼近 Spall, 1992、参数探索策略梯度 Sehnke et al., 2010 或零阶梯度估计 Nesterov and Spokoiny, 2011。

在本工作中，我们专注于强化学习问题，因此 F(⋅)F(\cdot)F(⋅) 将由环境提供的随机回报，θ\thetaθ 将是描述在该环境中行动的智能体的确定性或随机策略 πθ\pi_\thetaπθ 的参数，由离散或连续动作控制。强化学习算法的大部分创新集中在应对无法访问或不存在环境或策略导数的问题。这种非光滑性可以通过 ES 如下处理。我们将群体分布 pψp_\psipψ 实例化为具有均值 ψ\psiψ 和固定协方差 σ2I\sigma^2 Iσ2I 的各向同性多元高斯，允许我们用均值参数向量 θ\thetaθ 直接写出 Eθ∼pψF(θ)\mathbb{E}{\theta \sim p\psi} F(\theta)Eθ∼pψF(θ)：

Eθ∼pψF(θ)=Eε∼N(0,I)F(θ+σε)\mathbb{E}{\theta \sim p\psi} F(\theta) = \mathbb{E}_{\varepsilon \sim \mathcal{N}(0, I)} F(\theta + \sigma \varepsilon)Eθ∼pψF(θ)=Eε∼N(0,I)F(θ+σε)

通过这种设置，我们的随机目标可以被视为原始目标 FFF 的高斯模糊版本，消除了环境引入的或策略可能采取的离散动作带来的非光滑性。关于 ES 和策略梯度方法如何处理非光滑性的进一步讨论可以在第 3 节中找到。

定义了关于 θ\thetaθ 的目标后，我们使用得分函数估计器通过随机梯度上升直接优化 θ\thetaθ：

∇θEε∼N(0,I)F(θ+σε)=1σEε∼N(0,I){F(θ+σε)ε}\nabla_\theta \mathbb{E}{\varepsilon \sim \mathcal{N}(0, I)} F(\theta + \sigma \varepsilon) = \frac{1}{\sigma} \mathbb{E}{\varepsilon \sim \mathcal{N}(0, I)} \left\{ F(\theta + \sigma \varepsilon) \varepsilon \right\}∇θEε∼N(0,I)F(θ+σε)=σ1Eε∼N(0,I){F(θ+σε)ε}

这可以用样本近似。得到的算法（算法 1）反复执行两个阶段：1）随机扰动策略的参数并通过在环境中运行一集来评估结果参数，以及 2）结合这些集的结果，计算随机梯度估计，并更新参数。

算法 1: 进化策略

1. 输入 : 学习率 α\alphaα，噪声标准差 σ\sigmaσ，初始策略参数 θ0\theta_0θ0
2. 对于 t=0,1,2,...t = 0, 1, 2, \ldotst=0,1,2,... 执行
3. 采样 ε1,...,εn∼N(0,I)\varepsilon_1, \ldots, \varepsilon_n \sim \mathcal{N}(0, I)ε1,...,εn∼N(0,I)
4. 计算回报 Fi=F(θt+σεi)F_i = F(\theta_t + \sigma \varepsilon_i)Fi=F(θt+σεi)，对于 i=1,...,ni = 1, \ldots, ni=1,...,n
5. 设置 θt+1←θt+αnσ∑i=1nFiεi\theta_{t+1} \leftarrow \theta_t + \frac{\alpha}{n\sigma} \sum_{i=1}^n F_i \varepsilon_iθt+1←θt+nσα∑i=1nFiεi
6. 结束循环

2.1 扩展和并行化 ES

ES 非常适合扩展到许多并行工作节点：1）它在完整集上操作，因此只需要工作节点之间的频繁通信。2）每个工作节点获得的唯一信息是集的标量回报：如果我们在优化之前在工作节点之间同步随机种子，每个工作节点都知道其他工作节点使用了什么扰动，因此每个工作节点只需要与每个其他工作节点通信一个标量以就参数更新达成一致。因此，ES 需要极低的带宽，这与策略梯度方法形成鲜明对比，后者需要工作节点通信整个梯度。3）它不需要值函数近似。

带有值函数估计的强化学习本质上是顺序的：为了改进给定的策略，通常需要多次更新值函数以获得足够的信号。每次策略显著改变时，值函数估计都需要多次迭代才能跟上。

算法 2 给出了 ES 的一个简单并行版本。这里的主要新颖之处在于该算法利用了共享随机种子，这大大减少了工作节点之间通信所需的带宽。

算法 2: 并行化进化策略

1. 输入 : 学习率 α\alphaα，噪声标准差 σ\sigmaσ，初始策略参数 θ0\theta_0θ0
2. 初始化 : nnn 个具有已知随机种子的工作节点，以及初始参数 θ0\theta_0θ0
3. 对于 t=0,1,2,...t = 0, 1, 2, \ldotst=0,1,2,... 执行
4. 对于 每个工作节点 i=1,...,ni = 1, \ldots, ni=1,...,n 执行
5. 采样 εi∼N(0,I)\varepsilon_i \sim \mathcal{N}(0, I)εi∼N(0,I)
6. 计算回报 Fi=F(θt+σεi)F_i = F(\theta_t + \sigma \varepsilon_i)Fi=F(θt+σεi)
7. 结束循环
8. 将所有标量回报 FiF_iFi 从每个工作节点发送到每个其他工作节点
9. 对于 每个工作节点 i=1,...,ni = 1, \ldots, ni=1,...,n 执行
10. 使用已知随机种子重构所有扰动 εj\varepsilon_jεj，对于 j=1,...,nj = 1, \ldots, nj=1,...,n
11. 设置 θt+1←θt+αnσ∑j=1nFjεj\theta_{t+1} \leftarrow \theta_t + \frac{\alpha}{n\sigma} \sum_{j=1}^n F_j \varepsilon_jθt+1←θt+nσα∑j=1nFjεj
12. 结束循环
13. 结束循环

在实践中，我们通过让每个工作节点在训练开始时实例化一大块高斯噪声，然后在每次迭代中通过添加这些噪声变量的随机索引子集来扰动其参数来实现采样。尽管这意味着扰动在迭代之间不是严格独立的，但我们发现这在实践中不是问题。使用这种策略，我们发现算法 2 的第二部分（第 9-12 行）仅占我们所有实验中总时间的一小部分，即使在使用多达 1,440 个并行工作节点时也是如此。当使用更多的工作节点时，或者当使用非常大的神经网络时，我们可以通过让每个工作节点只扰动参数 θ\thetaθ 的子集而不是全部来减少这部分算法所需的计算：在这种情况下，扰动分布 pψp_\psipψ 对应于高斯混合，更新方程保持不变。在极端情况下，每个工作节点只扰动参数向量的单个坐标，这意味着我们将使用纯有限差分。

为了减少方差，我们使用对抗采样 Geweke, 1988，在 ES 文献中也被称为镜像采样 Brockhoff et al., 2010：也就是说，我们总是评估成对的扰动 ε,−ε\varepsilon, -\varepsilonε,−ε，对于高斯噪声向量 ε\varepsilonε。我们还发现通过应用秩转换 Wierstra et al., 2014 对回报进行适应度整形很有用，即在计算每个参数更新之前对回报应用秩转换。这样做去除了每代中异常个体的影响，并减少了 ES 在训练早期陷入局部最优的倾向。此外，我们对策略网络的参数应用权重衰减：这防止参数相对于扰动变得非常大。

与 Wierstra et al. 2014 不同，我们没有看到在训练期间自适应 σ\sigmaσ 的好处，因此我们将其视为固定超参数。我们直接在参数空间中进行优化；探索间接编码 Stanley et al., 2009, van Steenkiste et al., 2016 留给未来工作。

如上所述的进化策略在完整长度的集上工作。在极少数情况下，这可能导致 CPU 利用率低下，因为一些集比其他集运行更多的步骤。因此，我们将所有工作节点的集长度限制为恒定的 mmm 步，我们随着训练的进展动态调整。例如，通过将 mmm 设置为每集平均步数的两倍，我们可以保证在最坏情况下 CPU 利用率保持在 50% 以上。

2.2 网络参数化的影响

虽然 Q-learning 和策略梯度等强化学习算法通过从随机策略中采样动作来探索，但进化策略从采样策略参数实例中获取学习信号。因此，ES 中的探索由参数扰动驱动。为了让 ES 改进参数 θ\thetaθ，群体中的某些成员必须比其他人获得更好的回报：即高斯扰动向量 ε\varepsilonε 偶尔导致新的个体 θ+σε\theta + \sigma \varepsilonθ+σε 获得更好的回报是至关重要的。

对于 Atari 环境，我们发现对 DeepMind 的卷积架构 Mnih et al., 2015 进行高斯参数扰动并不总能导致充分的探索：对于某些环境，随机扰动的参数倾向于编码无论给定什么状态都总是采取一个特定动作的策略。然而，我们发现通过在策略规范中使用虚拟批归一化 Salimans et al., 2016，我们能够匹配大多数游戏中策略梯度方法的性能。虚拟批归一化在功能上等同于批归一化 Ioffe and Szegedy, 2015，其中用于计算归一化统计量的迷你批次在训练开始时选择并保持固定。这种参数化变化使得策略在训练早期当策略权重是随机时对输入图像的微小变化更加敏感，确保策略采取足够广泛的动作以偶尔获得奖励。对于大多数应用，虚拟批归一化的缺点是它使训练更加昂贵。然而，对于我们的应用，用于计算归一化统计量的迷你批次比典型集中的步数小得多，这意味着开销可以忽略不计。

对于 MuJoCo 任务，我们在几乎所有环境中都使用映射到连续动作的标准多层感知器取得了良好的性能。然而，我们观察到对于某些环境，我们可以通过离散化动作来鼓励更多的探索。这迫使动作相对于输入观察和参数扰动是非光滑的，从而鼓励在集的过程中表现出各种各样的行为。

3 参数空间平滑与动作空间平滑

如第 2 节所述，强化学习的一个主要困难来源是缺乏策略性能的信息性梯度：这种梯度可能由于环境或策略的非光滑性而不存在，或者可能只能作为高方差估计获得，因为环境通常只能通过采样访问。明确地说，假设我们希望解决在采取一系列动作 a={a1,...,aT}a = \{a_1, \ldots, a_T\}a={a1,...,aT} 后给出回报 R(a)R(a)R(a) 的一般决策问题，其中动作由确定性或随机策略函数 at=π(s;θ)a_t = \pi(s; \theta)at=π(s;θ) 确定。我们希望优化的目标因此是 F(θ)=R(a(θ))F(\theta) = R(a(\theta))F(θ)=R(a(θ))。

由于动作允许是离散的，策略允许是确定性的，F(θ)F(\theta)F(θ) 在 θ\thetaθ 中可能是非光滑的。更重要的是，因为我们没有决策问题的底层状态转移函数的显式访问，梯度不能用类似反向传播的算法计算。这意味着我们不能直接使用标准的基于梯度的优化方法来找到 θ\thetaθ 的好解。

为了使问题光滑并有估计其梯度的方法，我们需要添加噪声。策略梯度方法在动作空间添加噪声，这是通过从适当的分布中采样动作来完成的。例如，如果动作是离散的，并且 π(s;θ)\pi(s; \theta)π(s;θ) 在选择最佳动作之前计算每个动作的分数，那么我们将从每个时期动作的分类分布中采样动作 a(ε,θ)a(\varepsilon, \theta)a(ε,θ)（这里 ε\varepsilonε 是噪声源），对每个动作的分数应用 softmax。这样做产生目标 FPG(θ)=EεR(a(ε,θ))F_{PG}(\theta) = \mathbb{E}_\varepsilon R(a(\varepsilon, \theta))FPG(θ)=EεR(a(ε,θ))，其梯度为：

∇θFPG(θ)=Eε{R(a(ε,θ))∇θlog⁡p(a(ε,θ);θ)}\nabla_\theta F_{PG}(\theta) = \mathbb{E}\varepsilon \left\{ R(a(\varepsilon, \theta)) \nabla\theta \log p(a(\varepsilon, \theta); \theta) \right\}∇θFPG(θ)=Eε{R(a(ε,θ))∇θlogp(a(ε,θ);θ)}

另一方面，进化策略在参数空间添加噪声。也就是说，它们将参数扰动为 θ~=θ+ξ\tilde{\theta} = \theta + \xiθ~=θ+ξ，其中 ξ\xiξ 来自多元高斯分布，然后选择动作为 at=a(ξ,θ)=π(s;θ~)a_t = a(\xi, \theta) = \pi(s; \tilde{\theta})at=a(ξ,θ)=π(s;θ~)。它可以被解释为对原始目标添加高斯模糊，这产生了一个光滑、可微的成本 FES(θ)=EξR(a(ξ,θ))F_{ES}(\theta) = \mathbb{E}_\xi R(a(\xi, \theta))FES(θ)=EξR(a(ξ,θ))，这次梯度为：

∇θFES(θ)=Eξ{R(a(ξ,θ))∇θlog⁡p(θ~(ξ,θ);θ)}\nabla_\theta F_{ES}(\theta) = \mathbb{E}\xi \left\{ R(a(\xi, \theta)) \nabla\theta \log p(\tilde{\theta}(\xi, \theta); \theta) \right\}∇θFES(θ)=Eξ{R(a(ξ,θ))∇θlogp(θ~(ξ,θ);θ)}

这两种平滑决策问题的方法因此非常相似，并且可以通过向参数和动作都添加噪声来使它们更加相似。

3.1 ES 何时比策略梯度更好？

给定这两种平滑决策问题的方法，我们应该使用哪一种？答案强烈依赖于决策问题的结构以及用于估计梯度 ∇θFPG(θ)\nabla_\theta F_{PG}(\theta)∇θFPG(θ) 和 ∇θFES(θ)\nabla_\theta F_{ES}(\theta)∇θFES(θ) 的蒙特卡洛估计器的类型。假设回报与单个动作之间的相关性很低（对于任何困难的强化学习问题都是如此）。假设我们使用简单的蒙特卡洛（REINFORCE）和良好的基线来近似这些梯度，我们有：

Var∇θFPG(θ)≈VarR(a) Var∇θlog⁡p(a;θ)\text{Var}\\nabla_\\theta F_{PG}(\\theta) \approx \text{Var}R(a) \, \text{Var}\\nabla_\\theta \\log p(a; \\theta)Var∇θFPG(θ)≈VarR(a)Var∇θlogp(a;θ)

Var∇θFES(θ)≈VarR(a) Var∇θlog⁡p(θ\~;θ)\text{Var}\\nabla_\\theta F_{ES}(\\theta) \approx \text{Var}R(a) \, \text{Var}\\nabla_\\theta \\log p(\\tilde{\\theta}; \\theta)Var∇θFES(θ)≈VarR(a)Var∇θlogp(θ\~;θ)

如果两种方法执行相似数量的探索，VarR(a)\text{Var}R(a)VarR(a) 对于两种表达式将是相似的。差异将在于第二项。这里我们有 ∇θlog⁡p(a;θ)=∑t=1T∇θlog⁡p(at;θ)\nabla_\theta \log p(a; \theta) = \sum_{t=1}^T \nabla_\theta \log p(a_t; \theta)∇θlogp(a;θ)=∑t=1T∇θlogp(at;θ) 是 TTT 个不相关项的和，因此策略梯度估计器的方差将随 TTT 近似线性增长。进化策略的相应项 ∇θlog⁡p(θ~;θ)\nabla_\theta \log p(\tilde{\theta}; \theta)∇θlogp(θ~;θ) 与 TTT 无关。因此，对于具有非常多个时间步的长集，进化策略将比策略梯度具有优势。在实践中，有效步数 TTT 通常通过在策略梯度方法中折扣奖励来减少。如果动作的影响是短暂的，这使我们能够显著减少梯度估计中的方差，并且这对 Atari 游戏等应用的成功至关重要。然而，如果动作具有长期影响，这种折扣将使我们的梯度估计产生偏差。减少 TTT 的有效值的另一种策略是使用值函数近似。这也一直很有效，但再次存在使我们的梯度估计产生偏差的风险。因此，如果有效时间步数 TTT 很长，动作具有长期影响，并且没有好的值函数估计可用，进化策略是一个吸引人的选择。

3.2 问题维度

ES 的梯度估计可以被解释为在高维空间中进行随机有限差分的方法。确实，使用 Eε∼N(0,I){F(θ)ε/σ}=0\mathbb{E}_{\varepsilon \sim \mathcal{N}(0, I)} \{F(\theta) \varepsilon / \sigma\} = 0Eε∼N(0,I){F(θ)ε/σ}=0 的事实，我们得到：

∇η(θ)=Eε∼N(0,I){F(θ+σε)εσ}=Eε∼N(0,I){(F(θ+σε)−F(θ))εσ}\nabla_\eta(\theta) = \mathbb{E}{\varepsilon \sim \mathcal{N}(0, I)} \left\{ \frac{F(\theta + \sigma \varepsilon) \varepsilon}{\sigma} \right\} = \mathbb{E}{\varepsilon \sim \mathcal{N}(0, I)} \left\{ \frac{(F(\theta + \sigma \varepsilon) - F(\theta)) \varepsilon}{\sigma} \right\}∇η(θ)=Eε∼N(0,I){σF(θ+σε)ε}=Eε∼N(0,I){σ(F(θ+σε)−F(θ))ε}

现在很明显，ES 可以被看作是在随机选择的方向上计算有限差分导数估计，特别是当 σ\sigmaσ 变小时。ES 与有限差分的相似性表明该方法将随参数 θ\thetaθ 的维度而扩展不良。理论分析确实表明，对于一般非光滑优化问题，所需优化步数随维度线性增长 Nesterov and Spokoiny, 2011。然而，重要的是要注意，这并不意味着使用 ES 优化时更大的神经网络会比更小的神经网络表现更差：重要的是优化问题的难度或内在维度。要看到模型的维度可以与优化问题的有效维度完全分离，考虑一个回归问题，其中我们用线性模型 y^=x⋅w\hat{y} = x \cdot wy^=x⋅w 逼近单变量 yyy：如果我们将模型中的特征和参数数量加倍，通过将 xxx 与自身连接（即使用特征 x′=(x,x)x' = (x, x)x′=(x,x)），问题不会变得更困难。只要我们将噪声的标准差和学习率都除以二，ES 算法在这个更高维度的问题上将完全做同样的事情。

在实践中，我们观察到使用更大的网络时结果略好。例如，我们尝试了 A3C Mnih et al., 2016 使用的较大网络和较小网络来学习 Atari 2600 游戏，平均而言使用较大的网络获得了更好的结果。我们假设这是由于使标准基于梯度的优化对大神经网络比对小神经网络更容易的相同效应：大网络有更少的局部最小值 Kawaguchi, 2016。

3.3 不计算梯度的优势

除了易于并行化之外，以及在具有长动作序列和延迟奖励的情况下具有优势之外，像 ES 这样的黑盒优化算法比计算梯度的强化学习技术还有其他优势。在分布式设置中实现 ES 的通信开销低于策略梯度和 Q-learning 等竞争强化学习方法，因为跨进程需要通信的唯一信息是标量回报和用于生成扰动 ε\varepsilonε 的随机种子，而不是完整的梯度。此外，ES 可以处理最大稀疏和延迟的奖励；只使用集的总回报，而其他方法使用单个奖励及其确切时间。

通过不需要反向传播，黑盒优化器将每集的计算量减少约三分之二，内存减少可能更多。此外，不明确计算解析梯度可以防止在使用循环神经网络时常见的梯度爆炸问题。通过在参数空间中平滑成本函数，我们减少了导致这些问题的病理性曲率：足够光滑的有界成本函数不能有爆炸梯度。在极端情况下，ES 允许我们在架构中引入不可微元素，例如使用硬注意力的模块 Xu et al., 2015。

黑盒优化方法非常适合深度学习的低精度硬件。低精度算术，如在二元神经网络中，可以比高精度便宜得多。在优化这种低精度架构时，当使用基于梯度的方法时，有偏的低精度梯度估计可能是一个问题。类似地，用于神经网络推理的专用硬件，如 TPU Jouppi et al., 2017，可以在使用 ES 进行优化时直接使用，而其有限的内存通常使反向传播不可能。

通过在参数空间而不是动作空间中进行扰动，黑盒优化器自然地对智能体在环境中动作的频率不变。另一方面，对于基于 MDP 的强化学习算法，众所周知，帧跳过是许多强化学习算法的关键参数 Braylan et al., 2005。虽然这对于只需要短期规划和动作的游戏通常是一个可解决的问题，但对于学习更长期战略行为的问题则是一个问题。对于这些问题，强化学习需要层次结构才能成功 Parr and Russell, 1998，而使用黑盒优化时则不那么必要。

4 实验

4.1 MuJoCo

我们在 OpenAI Gym Brockman et al., 2016 的连续机器人控制问题基准上评估了 ES，与高度调优的信赖域策略优化 Schulman et al., 2015 实现进行比较，TRPO 是一种旨在高效优化神经网络策略的策略梯度算法。我们测试了经典问题，如平衡倒立摆，以及最近在文献中发现的更困难的问题，如学习 2D 跳跃和行走步态。环境由 MuJoCo Todorov et al., 2012 模拟。

我们使用 ES 和 TRPO 训练了具有相同架构的策略：具有两个 64 单元隐藏层、由 tanh 非线性分隔的多层感知器。我们发现 ES 偶尔受益于离散动作，因为连续动作相对于参数扰动可能过于光滑，可能阻碍探索（见第 2.2 节）。对于跳跃和游泳任务，我们将 ES 的动作离散化为每个动作组件 10 个区间。

我们发现 ES 能够在 500 万时间步的环境交互后达到 TRPO 的最终性能来解决这些任务。为了获得这个结果，我们运行了 6 个随机种子的 ES，并将平均学习曲线与类似计算的 TRPO 曲线进行比较。学习过程中确切样本复杂性的权衡列在表 1 中，详细结果列在补充材料的表 3 中。通常，与 TRPO 相比，我们能够在困难环境（Hopper 和 Walker2d）上以不到 10 倍的样本复杂性惩罚解决环境。在简单环境中，我们实现了比 TRPO 高达 3 倍的更好样本复杂性。

表 1: MuJoCo 任务：ES 时间步与 TRPO 时间步的比率，需要达到 TRPO 在 500 万时间步时学习进度的各种百分比。

环境	25%	50%	75%	100%
HalfCheetah	0.15	0.49	0.42	0.58
Hopper	0.53	3.64	6.05	6.94
InvertedDoublePendulum	0.46	0.48	0.49	1.23
InvertedPendulum	0.28	0.52	0.78	0.88
Swimmer	0.56	0.47	0.53	0.30
Walker2d	0.41	5.69	8.02	7.88

4.2 Atari

我们在 OpenAI Gym Brockman et al., 2016 中可用的 51 个 Atari 2600 游戏上运行了我们的进化策略并行实现，如算法 2 所述。我们使用了 Mnih et al. 2016 使用的相同预处理和前馈 CNN 架构。所有游戏都训练了 10 亿帧，这需要与 A3C Mnih et al., 2016 的已发布一天结果大致相同的神经网络计算量，后者使用 3.2 亿帧。差异是由于 ES 不执行反向传播且不使用值函数。通过在 Amazon EC2 上并行化 720 个 CPU 上扰动参数的评估，我们可以将训练过程所需的时间缩短到每游戏约一小时。训练后，我们将最终性能与已发布的 A3C 结果进行比较，发现 ES 在测试的 23 个游戏中表现更好，在 28 个游戏中表现更差。完整结果在补充材料的表 2 中。

4.3 并行化

ES 特别适合并行化，因为其低通信带宽要求（第 2.1 节）。我们实现了算法 2 的分布式版本，以调查 ES 如何随工作节点数量扩展。我们的分布式实现不依赖特殊网络设置，并在公共云计算服务 Amazon EC2 上进行了测试。

我们从 OpenAI Gym Brockman et al., 2016 中选择了 3D Humanoid 行走任务作为扩展实验的测试问题，因为它是现代强化学习技术可解决的最具挑战性的连续控制问题之一，在现代硬件上需要大约一天时间学习 Schulman et al., 2015, Duan et al., 2016a。在一台 18 核机器上使用 ES 解决 3D Humanoid 需要大约 11 小时，与强化学习相当。然而，当分布在 80 台机器和 1,440 个 CPU 核心上时，ES 可以在仅 10 分钟内解决 3D Humanoid，将实验周转时间减少两个数量级。图 1 显示，对于此任务，ES 能够在 CPU 核心数量上实现线性加速。

图 1: 使用不同数量 CPU 核心达到 3D Humanoid 分数 6000 所需的时间。实验重复 7 次，报告中位数时间。

4.4 对时间分辨率的不变性

在强化学习中，让智能体以低于运行环境的模拟器使用的频率决定其动作是常见的做法。这种动作频率，或帧跳过，是许多强化学习算法中的关键参数 Braylan et al., 2005。如果帧跳过设置得太高，智能体不能以足够精细的时间框架做出决策以在环境中表现良好。另一方面，如果帧跳过设置得太低，集的有效时间长度增加太多，如第 3.1 节分析的那样，这会恶化优化性能。 ES 的一个优势是其梯度估计与集的长度无关，这使其对动作频率更加鲁棒。我们通过使用帧跳过参数在 {1,2,3,4}\{1, 2, 3, 4\}{1,2,3,4} 中运行 Atari 游戏 Pong 来演示这一点。如图 2 所示，每个设置的学习曲线确实看起来非常相似。

图 2: 使用不同帧跳过参数训练 Pong 的学习曲线。尽管性能是随机的，但每个设置都导致了大致同样快的学习，每次运行都在大约 100 次权重更新后收敛。

5 相关工作

有许多尝试将与 ES 相关的方法应用于训练神经网络 Risi and Togelius, 2015。对于 Atari，Hausknecht et al. 2014 获得了令人印象深刻的结果。Sehnke et al. 2010 提出了与我们工作中研究的方法密切相关的方法。Koutník et al. 2013, 2010 和 Srivastava et al. 2012 类似地将 ES 方法应用于具有视觉输入的强化学习问题，但策略以几种不同的方式被压缩。自然进化策略已成功应用于黑盒优化 Wierstra et al., 2008, 2014，以及用于训练循环神经网络中的循环权重 Schmidhuber et al., 2007。Stulp and Sigaud 2012 探索了类似的黑盒优化方法。最近，Usunier et al. 2016 探索了黑盒优化和策略梯度方法的有趣混合。

Hyper-Neat Stanley et al., 2009 是一种替代方法，用于进化神经网络的权重及其参数。无导数优化方法也在凸设置中进行了分析 Duchi et al., 2015, Nesterov, 2012。

我们工作的主要贡献在于表明这类算法在分布式硬件上极其可扩展且高效。我们已经证明，ES 经过仔细实现后，在性能方面可以与竞争强化学习算法在当今可解决的最困难问题上竞争，并且在数据效率方面出人意料地接近，同时需要更少的训练时间。

6 结论

我们探索了进化策略，一类黑盒优化算法，作为流行的基于 MDP 的强化学习技术（如 Q-learning 和策略梯度）的替代方案。在 Atari 和 MuJoCo 上的实验表明，它是一个可行的选择，具有一些吸引人的特性：它对动作频率和延迟奖励具有不变性，并且不需要时间折扣或值函数近似。最重要的是，ES 高度可并行化，这使我们能够通过扩展到更多并行工作节点来弥补数据效率的降低。

在未来的工作中，我们计划将进化策略应用于那些基于 MDP 的强化学习不太适合的问题：具有长时间范围和复杂奖励结构的问题。我们特别感兴趣的是元学习，或学习如何学习。Duan et al. 2016b 给出了在强化学习设置中元学习的概念验证：使用黑盒优化，我们希望能够扩展这些结果。我们还计划研究将 ES 与快速低精度神经网络实现相结合，以充分利用 ES 的无梯度特性。

参考文献

• Alex Braylan, Mark Hollenbeck, Elliot Meyerson, and Risto Miikkulainen. Frame skip is a powerful parameter for learning to play atari. Space, 1600:1800, 2005.
• Dimo Brockhoff, Anne Auger, Nikolaus Hansen, Dirk V Arnold, and Tim Hohm. Mirrored sampling and sequential selection for evolution strategies. In International Conference on Parallel Problem Solving from Nature, pages 11--21. Springer, 2010.
• Greg Brockman, Vicki Cheung, Ludwig Pettersson, Jonas Schneider, John Schulman, Jie Tang, and Wojciech Zaremba. OpenAI Gym. arXiv preprint arXiv:1606.01540, 2016.
• Yan Duan, Xi Chen, Rein Houthooft, John Schulman, and Pieter Abbeel. Benchmarking deep reinforcement learning for continuous control. In Proceedings of the 33rd International Conference on Machine Learning (ICML), 2016a.
• Yan Duan, John Schulman, Xi Chen, Peter L Bartlett, Ilya Sutskever, and Pieter Abbeel. RL2: Fast reinforcement learning via slow reinforcement learning. arXiv preprint arXiv:1611.02779, 2016b.
• John C Duchi, Michael I Jordan, Martin J Wainwright, and Andre Wibisono. Optimal rates for zero-order convex optimization: The power of two function evaluations. IEEE Transactions on Information Theory, 61(5):2788--2806, 2015.
• John Geweke. Antithetic acceleration of monte carlo integration in bayesian inference. Journal of Econometrics, 38(1-2):73--89, 1988.
• Tobias Glasmachers, Tom Schaul, and Jürgen Schmidhuber. A natural evolution strategy for multi-objective optimization. In International Conference on Parallel Problem Solving from Nature, pages 627--636. Springer, 2010a.
• Tobias Glasmachers, Tom Schaul, Sun Yi, Daan Wierstra, and Jürgen Schmidhuber. Exponential natural evolution strategies. In Proceedings of the 12th annual conference on Genetic and evolutionary computation, pages 393--400. ACM, 2010b.
• Nikolaus Hansen and Andreas Ostermeier. Completely derandomized self-adaptation in evolution strategies. Evolutionary computation, 9(2):159--195, 2001.
• Matthew Hausknecht, Joel Lehman, Risto Miikkulainen, and Peter Stone. A neuroevolution approach to general atari game playing. IEEE Transactions on Computational Intelligence and AI in Games, 6(4):355--366, 2014.
• Sergey Ioffe and Christian Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift. arXiv preprint arXiv:1502.03167, 2015.
• Norman P Jouppi, Cliff Young, Nishant Patil, David Patterson, Gaurav Agrawal, Raminder Bajwa, Sarah Bates, Suresh Bhatia, Nan Boden, Al Borchers, et al. In-datacenter performance analysis of a tensor processing unit. arXiv preprint arXiv:1704.04760, 2017.
• Kenji Kawaguchi. Deep learning without poor local minima. In Advances In Neural Information Processing Systems, pages 586--594, 2016.
• Jan Koutník, Faustino Gomez, and Jürgen Schmidhuber. Evolving neural networks in compressed weight space. In Proceedings of the 12th annual conference on Genetic and evolutionary computation, pages 619--626. ACM, 2010.
• Jan Koutník, Giuseppe Cuccu, Jürgen Schmidhuber, and Faustino Gomez. Evolving large-scale neural networks for vision-based reinforcement learning. In Proceedings of the 15th annual conference on Genetic and evolutionary computation, pages 1061--1068. ACM, 2013.
• Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Andrei A Rusu, Joel Veness, Marc G Bellemare, Alex Graves, Martin Riedmiller, Andreas K Fidjeland, Georg Ostrovski, et al. Human-level control through deep reinforcement learning. Nature, 518(7540):529--533, 2015.
• Volodymyr Mnih, Adria Puigdomenech Badia, Mehdi Mirza, Alex Graves, Timothy P Lillicrap, Tim Harley, David Silver, and Koray Kavukcuoglu. Asynchronous methods for deep reinforcement learning. In International Conference on Machine Learning, 2016.
• Yurii Nesterov. Efficiency of coordinate descent methods on huge-scale optimization problems. SIAM Journal on Optimization, 22(2):341--362, 2012.
• Yurii Nesterov and Vladimir Spokoiny. Random gradient-free minimization of convex functions. Foundations of Computational Mathematics, pages 1--40, 2011.
• Andrew Ng, Adam Coates, Mark Diel, Varun Ganapathi, Jamie Schulte, Ben Tse, Eric Berger, and Eric Liang. Autonomous inverted helicopter flight via reinforcement learning. Experimental Robotics IX, pages 363--372, 2006.
• Ronald Parr and Stuart Russell. Reinforcement learning with hierarchies of machines. Advances in neural information processing systems, pages 1043--1049, 1998.
• I. Rechenberg and M. Eigen. Evolutionsstrategie: Optimierung Technischer Systeme nach Prinzipien der Biologischen Evolution. Frommann-Holzboog Stuttgart, 1973.
• Sebastian Risi and Julian Togelius. Neuroevolution in games: State of the art and open challenges. IEEE Transactions on Computational Intelligence and AI in Games, 2015.
• Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, and Xi Chen. Improved techniques for training gans. In Advances in Neural Information Processing Systems, pages 2226--2234, 2016.
• Tom Schaul, Tobias Glasmachers, and Jürgen Schmidhuber. High dimensions and heavy tails for natural evolution strategies. In Proceedings of the 13th annual conference on Genetic and evolutionary computation, pages 845--852. ACM, 2011.
• Juergen Schmidhuber and Jieyu Zhao. Direct policy search and uncertain policy evaluation. In Aaai spring symposium on search under uncertain and incomplete information, stanford univ, pages 119--124, 1998.
• Jürgen Schmidhuber, Daan Wierstra, Matteo Gagliolo, and Faustino Gomez. Training recurrent networks by evolino. Neural computation, 19(3):757--779, 2007.
• John Schulman, Sergey Levine, Pieter Abbeel, Michael I Jordan, and Philipp Moritz. Trust region policy optimization. In ICML, pages 1889--1897, 2015.
• H.-P. Schwefel. Numerische optimierung von computer-modellen mittels der evolutionsstrategie. 1977.
• Frank Sehnke, Christian Osendorfer, Thomas Rückstieß, Alex Graves, Jan Peters, and Jürgen Schmidhuber. Parameter-exploring policy gradients. Neural Networks, 23(4):551--559, 2010.
• David Silver, Aja Huang, Chris J Maddison, Arthur Guez, Laurent Sifre, George Van Den Driessche, Julian Schrittwieser, Ioannis Antonoglou, Veda Panneershelvam, Marc Lanctot, et al. Mastering the game of go with deep neural networks and tree search. Nature, 529(7587):484--489, 2016.
• James C Spall. Multivariate stochastic approximation using a simultaneous perturbation gradient approximation. IEEE transactions on automatic control, 37(3):332--341, 1992.
• Rupesh Kumar Srivastava, Jürgen Schmidhuber, and Faustino Gomez. Generalized compressed network search. In International Conference on Parallel Problem Solving from Nature, pages 337--346. Springer, 2012.
• Kenneth O Stanley, David B D'Ambrosio, and Jason Gauci. A hypercube-based encoding for evolving large-scale neural networks. Artificial life, 15(2):185--212, 2009.
• Freek Stulp and Olivier Sigaud. Policy improvement methods: Between black-box optimization and episodic reinforcement learning. 2012.
• Yi Sun, Daan Wierstra, Tom Schaul, and Juergen Schmidhuber. Efficient natural evolution strategies. In Proceedings of the 11th Annual conference on Genetic and evolutionary computation, pages 539--546. ACM, 2009.
• Emanuel Todorov, Tom Erez, and Yuval Tassa. Mujoco: A physics engine for model-based control. In Intelligent Robots and Systems (IROS), 2012 IEEE/RSJ International Conference on, pages 5026--5033. IEEE, 2012.
• Nicolas Usunier, Gabriel Synnaeve, Zeming Lin, and Soumith Chintala. Episodic exploration for deep deterministic policies: An application to starcraft micromanagement tasks. arXiv preprint arXiv:1609.02993, 2016.
• Sjoerd van Steenkiste, Jan Koutník, Kurt Driessens, and Jürgen Schmidhuber. A wavelet-based encoding for neuroevolution. In Proceedings of the 2016 on Genetic and Evolutionary Computation Conference, pages 517--524. ACM, 2016.
• Daan Wierstra, Tom Schaul, Jan Peters, and Jürgen Schmidhuber. Natural evolution strategies. In Evolutionary Computation, 2008. CEC 2008. (IEEE World Congress on Computational Intelligence). IEEE Congress on, pages 3381--3387. IEEE, 2008.
• Daan Wierstra, Tom Schaul, Tobias Glasmachers, Yi Sun, Jan Peters, and Jürgen Schmidhuber. Natural evolution strategies. Journal of Machine Learning Research, 15(1):949--980, 2014.
• Ronald J Williams. Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine learning, 8(3-4):229--256, 1992.
• Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron C Courville, Ruslan Salakhutdinov, Richard S Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In ICML, volume 14, pages 77--81, 2015.
• Sun Yi, Daan Wierstra, Tom Schaul, and Jürgen Schmidhuber. Stochastic search using the natural gradient. In Proceedings of the 26th Annual International Conference on Machine Learning, pages 1161--1168. ACM, 2009.

---

补充材料

表 2: 使用进化策略在 Atari 2600 游戏上获得的最终结果

（前馈 CNN 策略，确定性策略评估，平均超过 10 次重新运行，最多 30 个随机初始无操作），并与 Mnih et al. 2016 的 DQN 和 A3C 结果以及 Hausknecht et al. 2014 的 HyperNEAT 进行比较。A2C 是我们自己的 A3C 同步变体，其报告的分数使用与 ES 结果相同的评估设置，用 3.2 亿训练帧获得。所有方法都在原始像素输入上进行训练。

游戏	DQN	A3C FF, 1天	HyperNEAT	ES FF, 1小时	A2C FF
Amidar	133.4	283.9	184.4	112.0	548.2
Assault	3332.3	3746.1	912.6	1673.9	2026.6
Asterix	124.5	6723.0	2340.0	1440.0	3779.7
Asteroids	697.1	3009.4	1694.0	1562.0	1733.4
Atlantis	76108.0	772392.0	61260.0	1267410.0	2872644.8
BankHeist	176.3	946.0	214.0	225.0	724.1
BattleZone	17560.0	11340.0	36200.0	16600.0	8406.2
BeamRider	8672.4	13235.9	1412.8	744.0	4438.9
Berzerk	-	1433.4	1394.0	686.0	720.6
Bowling	41.2	36.2	135.8	30.0	28.9
Boxing	25.8	33.7	16.4	49.8	95.8
Breakout	303.9	551.6	2.8	9.5	368.5
Centipede	3773.1	3306.5	25275.2	7783.9	2773.3
ChopperCommand	3046.0	4669.0	3960.0	3710.0	1700.0
CrazyClimber	50992.0	101624.0	0.0	26430.0	100034.4
DemonAttack	12835.2	84997.5	14620.0	1166.5	23657.7
DoubleDunk	21.6	0.1	2.0	0.2	3.2
Enduro	475.6	82.2	93.6	95.0	0.0
FishingDerby	2.3	13.6	49.8	49.0	33.9
Freeway	25.8	0.1	29.0	31.0	0.0
Frostbite	157.4	180.1	2260.0	370.0	266.6
Gopher	2731.8	8442.8	364.0	582.0	6266.2
Gravitar	216.5	269.5	370.0	805.0	256.2
IceHockey	3.8	4.7	10.6	4.1	4.9
Kangaroo	2696.0	106.0	800.0	11200.0	1357.6
Krull	3864.0	8066.6	12601.4	8647.2	6411.5
Montezuma's Revenge	50.0	53.0	0.0	0.0	0.0
NameThisGame	5439.9	5614.0	6742.0	4503.0	5532.8
Phoenix	-	28181.8	1762.0	4041.0	14104.7
PitFall	-	123.0	0.0	0.0	8.2
Pong	16.2	11.4	17.4	21.0	20.8
PrivateEye	298.2	194.4	10747.4	100.0	100.0
Q*Bert	4589.8	13752.3	695.0	147.5	15758.6
RiverRaid	4065.3	10001.2	2616.0	5009.0	9856.9
RoadRunner	9264.0	31769.0	3220.0	16590.0	33846.9
Robotank	58.5	2.3	43.8	11.9	2.2
Seaquest	2793.9	2300.2	716.0	1390.0	1763.7
Skiing	-	13700.0	7983.6	15442.5	15245.8
Solaris	-	1884.8	160.0	2090.0	2265.0
SpaceInvaders	1449.7	2214.7	1251.0	678.5	951.9
StarGunner	34081.0	64393.0	2720.0	1470.0	40065.6
Tennis	2.3	10.2	0.0	4.5	11.2
TimePilot	5640.0	5825.0	7340.0	4970.0	4637.5
Tutankham	32.4	26.1	23.6	130.3	194.3
Up and Down	3311.3	54525.4	43734.0	67974.0	75785.9
Venture	54.0	19.0	0.0	760.0	0.0
VideoPinball	20228.1	185852.6	0.0	22834.8	46470.1
Wizard of Wor	246.0	5278.0	3360.0	3480.0	1587.5
Yars Revenge	-	7270.8	24096.4	16401.7	8963.5
Zaxxon	831.0	2659.0	3000.0	6380.0	5.6

表 3: MuJoCo 任务详细结果

（原文补充材料中的详细数据表格，包含 ES 和 TRPO 在每个 MuJoCo 环境（HalfCheetah、Hopper、InvertedDoublePendulum、InvertedPendulum、Swimmer、Walker2d）上的详细学习曲线数据。表格记录了在不同训练时间步数下，ES 和 TRPO 分别达到的 TRPO 最终得分的百分比（25%、50%、75%、100%），以及对应的 ES 时间步与 TRPO 时间步的比率。这些数据在第 4.1 节中被引用，用于支撑表 1 中汇总的样本复杂性比较结果。）

注: 原文 PDF 中的表 3 数据以镜像反转格式存储于源文件中（TeX 编译时自动还原），上述数据已在正文第 4.1 节的表 1 中以汇总比率形式呈现。

---

原文标题: Evolution Strategies as a Scalable Alternative to Reinforcement Learning

原文链接: https://arxiv.org/abs/1703.03864

翻译日期: 2026/07/07