‌马尔可夫决策过程-笔记

【详解+推导!!】马尔可夫决策过程-CSDN博客

MDP是RL的理论基础


‌**马尔可夫决策过程(Markov Decision Process, MDP)是序贯决策的数学模型,用于在系统状态具有马尔可夫性质的环境中模拟智能体可实现的随机性策略与回报** ‌。MDP得名于俄国数学家安德雷·马尔可夫,以纪念其对马尔可夫链的研究。‌

基本概念和要素

MDP基于一组交互对象,即智能体和环境进行构建,所具有的要素包括:

  • ‌**状态(States)**‌:环境的状态集合。
  • ‌**动作(Actions)**‌:智能体在每个状态下可以采取的动作集合。
  • ‌**策略(Policies)**‌:定义了智能体在给定状态下选择动作的方式。
  • ‌**奖励(Rewards)**‌:智能体执行动作后获得的即时奖励。

理论基础和应用场景

MDP的理论基础是马尔可夫链,因此也被视为考虑了动作的马尔可夫模型。在离散时间上建立的MDP被称为"离散时间马尔可夫决策过程",反之则被称为"连续时间马尔可夫决策过程"。MDP存在一些变体,包括部分可观察马尔可夫决策过程、约束马尔可夫决策过程和模糊马尔可夫决策过程。

在机器学习和强化学习中的应用

在应用方面,MDP被用于机器学习中强化学习问题的建模。通过使用动态规划、随机采样等方法,MDP可以求解使回报最大化的智能体策略,并在自动控制、推荐系统等主题中得到应用。

数学表示和计算方法

MDP可以用五元组表示:<S, A, P, R, γ>,其中:

  • S 表示状态集合。
  • A 表示动作集合。
  • P 表示状态转移概率矩阵。
  • R 表示奖励函数。
  • γ 表示折扣因子,范围在 0 到 1 之间。

‌Bellman等式‌是强化学习中的基础,其基本思想是使用迭代的思想,将状态值函数分解为即时奖励和未来状态值函数的加权和。通过Bellman等式,可以迭代计算每个状态的值函数,从而找到最优策略。

相关推荐
Rabitebla5 小时前
【Linux】文件篇(五):手撕简易 FILE——模拟实现 C 标准 I/O 缓冲机制
linux·服务器·c语言·笔记·学习·ubuntu
摇滚侠7 小时前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python
江屿风11 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
吃我一窝jio15 小时前
Java Bug复盘与性能优化实战
java·开发语言·笔记
Rabitebla16 小时前
【Linux】文件篇(六):Shell 实战——从系统调用到命令行重定向
linux·服务器·c++·笔记·学习
Star(up up up)17 小时前
MySQL 事务隔离级别是如何实现的?从 MVCC 到锁机制原理详解
笔记·vscode·sql·学习·程序人生·mysql·学习方法
琳少_1 天前
java程序开发笔记
java·开发语言·数据库·笔记
Z21-X1 天前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
一只大鸽子1 天前
游戏开发笔记7-Godot RPG游戏基础-场景切换、全局脚本
笔记·游戏·godot