‌马尔可夫决策过程-笔记

【详解+推导!!】马尔可夫决策过程-CSDN博客

MDP是RL的理论基础


‌**马尔可夫决策过程(Markov Decision Process, MDP)是序贯决策的数学模型,用于在系统状态具有马尔可夫性质的环境中模拟智能体可实现的随机性策略与回报** ‌。MDP得名于俄国数学家安德雷·马尔可夫,以纪念其对马尔可夫链的研究。‌

基本概念和要素

MDP基于一组交互对象,即智能体和环境进行构建,所具有的要素包括:

  • ‌**状态(States)**‌:环境的状态集合。
  • ‌**动作(Actions)**‌:智能体在每个状态下可以采取的动作集合。
  • ‌**策略(Policies)**‌:定义了智能体在给定状态下选择动作的方式。
  • ‌**奖励(Rewards)**‌:智能体执行动作后获得的即时奖励。

理论基础和应用场景

MDP的理论基础是马尔可夫链,因此也被视为考虑了动作的马尔可夫模型。在离散时间上建立的MDP被称为"离散时间马尔可夫决策过程",反之则被称为"连续时间马尔可夫决策过程"。MDP存在一些变体,包括部分可观察马尔可夫决策过程、约束马尔可夫决策过程和模糊马尔可夫决策过程。

在机器学习和强化学习中的应用

在应用方面,MDP被用于机器学习中强化学习问题的建模。通过使用动态规划、随机采样等方法,MDP可以求解使回报最大化的智能体策略,并在自动控制、推荐系统等主题中得到应用。

数学表示和计算方法

MDP可以用五元组表示:<S, A, P, R, γ>,其中:

  • S 表示状态集合。
  • A 表示动作集合。
  • P 表示状态转移概率矩阵。
  • R 表示奖励函数。
  • γ 表示折扣因子,范围在 0 到 1 之间。

Bellman等式‌是强化学习中的基础,其基本思想是使用迭代的思想,将状态值函数分解为即时奖励和未来状态值函数的加权和。通过Bellman等式,可以迭代计算每个状态的值函数,从而找到最优策略。

相关推荐
sigmoidAndRELU1 小时前
读Vista
笔记·stable diffusion·世界模型
Sincerelyplz2 小时前
【Temproal】快速了解Temproal的核心概念以及使用
笔记·后端·开源
Yo_Becky3 小时前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他
DIY机器人工房3 小时前
0.96寸OLED显示屏 江协科技学习笔记(36个知识点)
笔记·科技·stm32·单片机·嵌入式硬件·学习·江协科技
future14125 小时前
每日问题总结
经验分享·笔记
循环过三天7 小时前
3-1 PID算法改进(积分部分)
笔记·stm32·单片机·学习·算法·pid
之歆7 小时前
Python-封装和解构-set及操作-字典及操作-解析式生成器-内建函数迭代器-学习笔记
笔记·python·学习
DKPT9 小时前
Java组合模式实现方式与测试方法
java·笔记·学习·设计模式·组合模式
受之以蒙9 小时前
Rust & WASM 之 wasm-bindgen 基础:让 Rust 与 JavaScript 无缝对话
前端·笔记·rust
茫忙然10 小时前
【WEB】Polar靶场 6-10题 详细笔记
笔记