动手强化学习之马尔可夫决策(机器人篇)

1 马尔可夫决策过程

马尔可夫决策过程(Markov Decision Process, MDP)是一种数学框架,用于建模智能体(agent)在随机环境中做决策的问题。它假设环境的状态转换具有马尔可夫性质,即未来的状态只依赖于当前状态和智能体采取的动作,而与过去的历史无关。MDP 是强化学习(Reinforcement Learning, RL)的基础模型,许多强化学习算法和理论都建立在 MDP 之上。

2 部分可观测马尔可夫决策过程

(Partially Observable Markov Decision Process, POMDP)

在单智能体的强化学习中,如果环境的状态不能完全被智能体观测到(例如,机器人传感器有噪声或视野受限),问题就被建模为 POMDP。POMDP 假设环境的动态满足马尔可夫性质(即下一状态仅依赖于当前状态和动作),但智能体只能通过部分观测(observation)间接推测状态。

3 Dec-POMDP(去中心化部分可观测马尔可夫决策过程)

在多智能体场景中,例如多个机器人协作完成任务,每个智能体都有自己的观测和动作,无法直接知道其他智能体的状态或动作。这种情况被建模为 Dec-POMDP。Dec-POMDP 扩展了 POMDP,考虑多个智能体在去中心化(无中央控制器)的情况下如何协作或竞争。

相关推荐
视觉语言导航1 小时前
RAL-2025 | 清华大学数字孪生驱动的机器人视觉导航!VR-Robo:面向视觉机器人导航与运动的现实-模拟-现实框架
人工智能·深度学习·机器人·具身智能
BFT白芙堂2 小时前
睿尔曼系列机器人——以创新驱动未来,重塑智能协作新生态(上)
人工智能·机器学习·机器人·协作机器人·复合机器人·睿尔曼机器人
Blossom.11816 小时前
机器学习在智能建筑中的应用:能源管理与环境优化
人工智能·python·深度学习·神经网络·机器学习·机器人·sklearn
Mr.Winter`19 小时前
障碍感知 | 基于3D激光雷达的三维膨胀栅格地图构建(附ROS C++仿真)
人工智能·机器人·自动驾驶·ros·具身智能·环境感知
AiTEN_Robot21 小时前
AGV 无人叉车关键技术问题解析:精准定位算法 / 安全避障逻辑 / 系统对接协议全方案
人工智能·机器人·自动化·制造
一颗小树x1 天前
【机器人】复现 HOV-SG 机器人导航 | 分层 开放词汇 | 3D 场景图
机器人·机器人导航·复现·hov-sg·分层 3d 场景图
贾全1 天前
第十章:HIL-SERL 真实机器人训练实战
人工智能·深度学习·算法·机器学习·机器人
智能汽车人1 天前
Robot---能打羽毛球的机器人
人工智能·机器人·强化学习
Blossom.1181 天前
机器学习在智能供应链中的应用:需求预测与物流优化
人工智能·深度学习·神经网络·机器学习·计算机视觉·机器人·语音识别
合力亿捷-小亿1 天前
客服机器人知识库怎么搭?智能客服机器人3种方案深度对比(含零售落地案例)
机器人·零售