2015 年，DeepMind 公司在《自然》杂志上发表了一篇论文，报告了他们的 AI 系统在 29 款雅达利（Atari）游戏中超越了人类玩家的表现。这一成果的核心在于将强化学习与深度神经网络相结合，形成了深度强化学习（Deep Reinforcement Learning）的新范式。
Atari 游戏是 20 世纪 70-80 年代电子游戏产业的代表。它是一系列游戏的集合，这些游戏画面简洁、规则简单、目标单一，难度会随着时间逐渐增加，以鼓励玩家追求更高的分数。Atari 游戏种类繁多，如球类、射击类、迷宫类、竞速类和平台跳跃类等，是早期街机游戏的典型代表。
Atari 游戏
DeepMind 的Atari AI 系统使用深度神经网络作为决策模型，并结合强化学习进行训练。神经网络通过处理游戏画面，直接输出控制操纵杆的指令。在训练过程中，游戏中的得分被用作奖励信号，强化学习算法根据这些奖励不断调整神经网络的参数，以最大化最终得分。这类似于把游戏机交给一个小孩，让他通过不断尝试来掌握游戏技巧，最终成为游戏高手。DeepMind 所用的深度神经网络包括两个卷积层和两个全连接层，输出层对应 17 个游戏杆操纵动作。
DeepMind 打 Atari 游戏的神经网络。图片来源：Mnih et al.