【深度学习】深度学习和强化学习算法——深度 Q 网络DQN

深度 Q 网络(Deep Q-Network, DQN) 详解

  • 什么是DQN
    • [DQN 的背景](#DQN 的背景)
    • [DQN 训练流程](#DQN 训练流程)
  • [2 DQN 的核心思想](#2 DQN 的核心思想)
    • [2.1 经验回放(Experience Replay)](#2.1 经验回放(Experience Replay))
    • [2.2 目标网络(Target Network)](#2.2 目标网络(Target Network))
    • [2.3 ε-贪心策略(ε-Greedy Policy)](#2.3 ε-贪心策略(ε-Greedy Policy))
    • [2.4 误差裁剪(Clipping the Loss)](#2.4 误差裁剪(Clipping the Loss))
  • 总结
  • 参考

深度 Q 网络(DQN)是一种结合 深度学习 和 强化学习 的算法,主要用于解决高维状态空间的强化学习问题。DQN 由 Google DeepMind 在 2015 年提出,并成功应用于 Atari 游戏,使 AI 能够超越人类玩家。

什么是DQN

Q-learning是一种经典的强化学习算法,而DQN(Deep Q-Network),即深度Q网络,是一种基于深度学习的Q-Learing算法和强化学习算法,它是首个成功将深度学习应用于解决强化学习任务的算法之一。

DQN基于值迭代(Value Iteration)的思想,通过估计每个状态动作对的价值函数Q值来指导智能体在每个状态下选择最佳的动作。简单来说,就是通过深度学习训练,得到一个函数Q(s,a)可以根据输入状态s,得到最佳动作a。

DQN 的背景

在 Q-learning 传统强化学习算法中,我们使用 Q 表(Q-table) 存储每个状态-动作对的 Q 值。然而,当状态空间变得巨大甚至是连续的时,Q 表的方法变得不可行,因为:

  • 状态数量过多,导致 Q 表存储需求爆炸。
  • 许多状态可能没有被访问过,导致学习效率低。

为了解决 高维状态空间 问题,DQN 使用 深度神经网络(Deep Neural Network, DNN) 来逼近 Q 值函数。这使得 DQN 能够处理复杂的环境,如图像输入(Atari 游戏)或高维控制任务。

DQN 训练流程

2 DQN 的核心思想

DQN 主要基于 Q-learning,但引入了深度神经网络来逼近 Q 值函数 Q(s,a),并使用了以下关键技术:

  • 经验回放(Experience Replay)
  • 目标网络(Target Network)
  • ε-贪心策略(ε-Greedy Policy)
  • 误差裁剪(Clipping the Loss)

2.1 经验回放(Experience Replay)

在标准 Q-learning 中,每次状态转移后立即更新 Q 值,这可能导致:

  • 数据相关性高(连续状态高度相关),影响神经网络训练。
  • 训练数据利用率低。

DQN 通过引入 经验回放缓冲区(Replay Memory) 来存储过去的经验 (s,a,r,s′ ),并在训练时 随机采样 进行学习,从而:

  • 去相关性(Decorrelation),避免连续样本影响学习。
  • 提高数据利用率,减少样本浪费。

经验回放示意图:

1、代理与环境交互,生成经验 (s,a,r,s′ )。

2、将经验存入回放缓冲区(FIFO 队列)。

3、随机采样一批经验训练神经网络。

2.2 目标网络(Target Network)

2.3 ε-贪心策略(ε-Greedy Policy)

为了平衡 探索(Exploration) 和 利用(Exploitation),DQN 使用 ε-贪心策略:

  • 以概率 ϵ 选择随机动作(探索)
  • 以概率 1−ϵ 选择 Q 值最大的动作(利用)
  • ε 会随着训练逐渐减少,初始探索较多,后期更倾向于利用已有经验。

2.4 误差裁剪(Clipping the Loss)

这样可以减少异常值对梯度的影响,提高训练稳定性。

总结

DQN 通过使用 深度神经网络 逼近 Q 值,解决了高维状态空间问题,并通过 经验回放 和 目标网络 提高训练稳定性。它是强化学习领域的里程碑,为后续如 Double DQN, Dueling DQN, Rainbow DQN 等方法奠定了基础。

参考

相关推荐
飞睿科技7 分钟前
乐鑫代理商飞睿科技,2025年AI智能语音助手市场发展趋势与乐鑫芯片解决方案分析
人工智能
许泽宇的技术分享9 分钟前
从新闻到知识图谱:用大模型和知识工程“八步成诗”打造科技并购大脑
人工智能·科技·知识图谱
坤坤爱学习2.023 分钟前
求医十年,病因不明,ChatGPT:你看起来有基因突变
人工智能·ai·chatgpt·程序员·大模型·ai编程·大模型学
三维重建-光栅投影40 分钟前
VS中将cuda项目编译为DLL并调用
算法
蹦蹦跳跳真可爱5891 小时前
Python----循环神经网络(Transformer ----注意力机制)
人工智能·深度学习·nlp·transformer·循环神经网络
课堂剪切板3 小时前
ch03 部分题目思路
算法
空中湖3 小时前
tensorflow武林志第二卷第九章:玄功九转
人工智能·python·tensorflow
lishaoan773 小时前
使用tensorflow的线性回归的例子(七)
人工智能·tensorflow·线性回归
山登绝顶我为峰 3(^v^)34 小时前
如何录制带备注的演示文稿(LaTex Beamer + Pympress)
c++·线性代数·算法·计算机·密码学·音视频·latex
Two_brushes.5 小时前
【算法】宽度优先遍历BFS
算法·leetcode·哈希算法·宽度优先