【机器学习】机器学习的基本分类-强化学习-Q-Learning

Q-Learning 的详细讲解

Q-Learning 是一种经典的强化学习算法,用于解决离散状态和动作空间的强化学习问题。其目标是找到一个最优策略,使智能体能够在与环境的交互中最大化累积奖励。


核心思想

通过迭代更新动作值函数 ,使其收敛到最优值 。最优值函数 满足 Bellman 最优方程:

这里:

  • :当前状态
  • :当前动作
  • :下一状态
  • :即时奖励
  • :折扣因子

智能体根据 构造策略 ,选择使 最大的动作。


算法步骤

  1. 初始化:

    • 初始化 或随机值,表示每个状态-动作对的初始估计值。
    • 设置学习率 和折扣因子 。
  2. 循环更新(直到收敛或达到最大迭代次数):

    1. 从环境中获取当前状态 。

    2. 使用 探索与利用策略 选择动作 :

      • 探索:随机选择动作(以一定概率 )。
      • 利用:选择使 最大的动作。
    3. 执行动作 aaa,获得即时奖励 和下一状态 。

    4. 更新 :

    5. 将状态更新为 ,重复步骤 2。

  3. 输出最终策略:


公式解释

  • 学习率 :决定新信息对更新的影响程度,取值范围为 。

    • :仅考虑最新经验,忽略历史信息。
    • :忽略最新经验,几乎不更新。
  • 折扣因子 :衡量未来奖励的重要性,取值范围为 。

    • :更加关注长期回报。
    • :只关心即时奖励。
  • 更新规则 :利用新的经验 修正当前 ,使其逐渐逼近真实值。


优缺点

优点
  1. 模型无关 :不需要知道环境的状态转移概率 。
  2. 简单直观:易于理解和实现。
  3. 保证收敛 :在有限状态和动作空间下,适当设置 和 时, 会收敛到 。
缺点
  1. 状态空间限制:难以扩展到连续或高维状态空间。
  2. 动作选择问题 :需要设计探索与利用的平衡机制(如 -贪婪策略)。
  3. 数据效率低:每次更新只基于一个样本。

举例说明

假设一个 3x3 的网格世界,智能体可以选择四个动作:向上、向下、向左、向右。目标是从左上角移动到右下角,获得最大的累积奖励。

  1. 初始化 :设置所有 。
  2. 运行算法 :智能体不断探索不同路径,基于即时奖励和折扣因子更新 。
  3. 收敛 :最终 收敛,智能体学会最佳策略,如"向右、向下"到达目标。

改进版本

1. SARSA(State-Action-Reward-State-Action)
  • 更新规则:

  • 与 Q-Learning 的区别:SARSA 在更新时使用智能体实际选择的动作 ,而不是使用最大化的 。

2. Deep Q-Learning (DQN)
  • 使用神经网络逼近 ,解决高维状态空间问题。
  • 引入 经验回放 和 目标网络 提高稳定性。

应用场景

  1. 机器人路径规划:如迷宫求解、机器人避障。
  2. 游戏 AI:学习游戏中的最优策略。
  3. 推荐系统:优化用户推荐序列。
  4. 动态资源分配:如网络带宽、云计算资源分配。
相关推荐
金融小师妹19 分钟前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
ZhengEnCi25 分钟前
中美AI竞赛之外其他国家在干什么:算力5%的欧洲、买卡的沙特与做场景的日韩
人工智能·gpu·nvidia
对你无可奈何8 小时前
给 ComfyUI 做了一个手机助手
人工智能
feasibility.9 小时前
英伟达把物理AI的3D模型“应用商店”开放了:2575个SimReady仿真资产,总计约472GB,可让agent装配机器人训练场景
人工智能·3d·机器人·仿真·建模·具身智能·英伟达
智联视频超融合平台10 小时前
消防宣传月过半,“AI+消防“给视频平台换了张考卷
人工智能·边缘计算·视频监控·安防·视频联网
冬奇Lab11 小时前
一天一个开源项目(第262篇):AG-UI —— 把 AI Agent 接进前端的开放协议,和 MCP、A2A 并列的第三块拼图
人工智能·开源
罗西的思考11 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
RobinDevNotes12 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
stormzhangV12 小时前
Coding Agent,通往 AGI 的重要一环
人工智能·agent·ai编程
Bowen_J14 小时前
Apple Foundation Models:Apple AI核心框架
人工智能·ai编程·apple