【深度学习】深度学习和强化学习算法——深度 Q 网络DQN

深度 Q 网络(Deep Q-Network, DQN) 详解

  • 什么是DQN
    • [DQN 的背景](#DQN 的背景)
    • [DQN 训练流程](#DQN 训练流程)
  • [2 DQN 的核心思想](#2 DQN 的核心思想)
    • [2.1 经验回放(Experience Replay)](#2.1 经验回放(Experience Replay))
    • [2.2 目标网络(Target Network)](#2.2 目标网络(Target Network))
    • [2.3 ε-贪心策略(ε-Greedy Policy)](#2.3 ε-贪心策略(ε-Greedy Policy))
    • [2.4 误差裁剪(Clipping the Loss)](#2.4 误差裁剪(Clipping the Loss))
  • 总结
  • 参考

深度 Q 网络(DQN)是一种结合 深度学习 和 强化学习 的算法,主要用于解决高维状态空间的强化学习问题。DQN 由 Google DeepMind 在 2015 年提出,并成功应用于 Atari 游戏,使 AI 能够超越人类玩家。

什么是DQN

Q-learning是一种经典的强化学习算法,而DQN(Deep Q-Network),即深度Q网络,是一种基于深度学习的Q-Learing算法和强化学习算法,它是首个成功将深度学习应用于解决强化学习任务的算法之一。

DQN基于值迭代(Value Iteration)的思想,通过估计每个状态动作对的价值函数Q值来指导智能体在每个状态下选择最佳的动作。简单来说,就是通过深度学习训练,得到一个函数Q(s,a)可以根据输入状态s,得到最佳动作a。

DQN 的背景

在 Q-learning 传统强化学习算法中,我们使用 Q 表(Q-table) 存储每个状态-动作对的 Q 值。然而,当状态空间变得巨大甚至是连续的时,Q 表的方法变得不可行,因为:

  • 状态数量过多,导致 Q 表存储需求爆炸。
  • 许多状态可能没有被访问过,导致学习效率低。

为了解决 高维状态空间 问题,DQN 使用 深度神经网络(Deep Neural Network, DNN) 来逼近 Q 值函数。这使得 DQN 能够处理复杂的环境,如图像输入(Atari 游戏)或高维控制任务。

DQN 训练流程

2 DQN 的核心思想

DQN 主要基于 Q-learning,但引入了深度神经网络来逼近 Q 值函数 Q(s,a),并使用了以下关键技术:

  • 经验回放(Experience Replay)
  • 目标网络(Target Network)
  • ε-贪心策略(ε-Greedy Policy)
  • 误差裁剪(Clipping the Loss)

2.1 经验回放(Experience Replay)

在标准 Q-learning 中,每次状态转移后立即更新 Q 值,这可能导致:

  • 数据相关性高(连续状态高度相关),影响神经网络训练。
  • 训练数据利用率低。

DQN 通过引入 经验回放缓冲区(Replay Memory) 来存储过去的经验 (s,a,r,s′ ),并在训练时 随机采样 进行学习,从而:

  • 去相关性(Decorrelation),避免连续样本影响学习。
  • 提高数据利用率,减少样本浪费。

经验回放示意图:

1、代理与环境交互,生成经验 (s,a,r,s′ )。

2、将经验存入回放缓冲区(FIFO 队列)。

3、随机采样一批经验训练神经网络。

2.2 目标网络(Target Network)

2.3 ε-贪心策略(ε-Greedy Policy)

为了平衡 探索(Exploration) 和 利用(Exploitation),DQN 使用 ε-贪心策略:

  • 以概率 ϵ 选择随机动作(探索)
  • 以概率 1−ϵ 选择 Q 值最大的动作(利用)
  • ε 会随着训练逐渐减少,初始探索较多,后期更倾向于利用已有经验。

2.4 误差裁剪(Clipping the Loss)

这样可以减少异常值对梯度的影响,提高训练稳定性。

总结

DQN 通过使用 深度神经网络 逼近 Q 值,解决了高维状态空间问题,并通过 经验回放 和 目标网络 提高训练稳定性。它是强化学习领域的里程碑,为后续如 Double DQN, Dueling DQN, Rainbow DQN 等方法奠定了基础。

参考

相关推荐
forest_093 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
H.莓飛3 小时前
【C++】【STL】stack_OJ题
服务器·c语言·开发语言·数据结构·c++·算法·visual studio
火山引擎开发者社区4 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔5 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区5 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1235 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI5 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健5 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
不会武功不懂江湖6 小时前
RISC-V链接器与链接脚本
汇编·算法·risc-v