08MARL深度强化学习——模型种类

文章目录

  • 前言
  • 1、训练与执行的模型
  • [2、Centralised Training and Execution](#2、Centralised Training and Execution)
    • [2.1 Example------central learning](#2.1 Example——central learning)
    • [2.2 局限性](#2.2 局限性)
  • [3、Decentralised Training and Execution](#3、Decentralised Training and Execution)
    • [3.1 Example------independent learning](#3.1 Example——independent learning)
    • 3.2局限性
  • [4、Centralised Training with Decentralised Execution](#4、Centralised Training with Decentralised Execution)
    • [4.1 Example------AC](#4.1 Example——AC)
    • 5、总结

前言

在RL学习的章节当中,学习了tubular的方法,其受限于只能更新访问过的状态价值,因此其并不能推断出未访问状态的价值导致算法并不能有效的评估所有状态的价值,因此我们能够训练一个神经网络来近似巨大的输入状态空间,深度强化学习就是训练一个参数化的价值函数或策略用于RL当中,后续学习是将深度强化学习应用到MARL当中,解决更加复杂的任务


1、训练与执行的模型

MARL算法能够根据训练与执行阶段利用的信息进行分类,在训练阶段每个智能体是局部可观测的,称为去中心化训练;在训练阶段能够利用所有智能体的信息,称为中心化训练;在执行阶段利用历史的局部观测,称为去中心化执行;在执行阶段利用所有智能体的全部信息,称为中心化执行

2、Centralised Training and Execution

中心化学习与执行的方法:在训练与执行阶段使用全局共享的信息,这些信息包括局部观测历史、价值函数、学习的世界模型等等,在此类方法中,明显与POSG环境相悖,因此智能体并不局限于局部可观测的信息,因此此类方法可以考虑为具有特权信息,能够获取其他智能体的全部信息

2.1 Example------central learning

中心化学习的算法便是基于此类方法的例子,中心化学习通过使用联合的历史观测序列训练一个中心化的策略将多智能体问题转化为单智能体问题

2.2 局限性

在训练过程需要将联合奖励转化为单一奖励,在一些过程中难以实现;联合动作状态空间随着智能体数量增加呈指数上升;分布的实体之间无法实时交流

3、Decentralised Training and Execution

去中心化训练与执行:在训练阶段与执行阶段是完全去中心化的,并不依赖于中心化的信息共享

3.1 Example------independent learning

独立学习算法每个智能体忽略其他智能体的存在使用单智能体RL算法训练其策略,具有拓展性、以及克服分布实体无法交流等优势

3.2局限性

无法使用所有智能体的信息进行训练;环境非平稳性造成的无法训练

4、Centralised Training with Decentralised Execution

中心化训练分散执行:在训练过程使用中心化的训练方式,而策略采用去中心化的执行方式。例如:在训练期间利用共享的局部信息更新智能体的策略,然而每个智能体的策略只利用局部的信息选择动作,该类方法组合了中心化训练与去中心化执行的优势

4.1 Example------AC

多智能体actor-critic算法:在训练期间中心化的critic利用联合观测历史训练策略能够提供更加准确的状态评估,在执行期间,利用局部的观测历史,价值函数不再需要,由策略决定采取哪个动作

5、总结

本文总结了MARL算法当中的三个基本框架:中心化训练与执行、去中心化训练与执行、中心化训练分散执行

相关推荐
焦耳加热18 分钟前
阿德莱德大学Nat. Commun.:盐模板策略实现废弃塑料到单原子催化剂的高值转化,推动环境与能源催化应用
人工智能·算法·机器学习·能源·材料工程
深空数字孪生20 分钟前
储能调峰新实践:智慧能源平台如何保障风电消纳与电网稳定?
大数据·人工智能·物联网
wan5555cn25 分钟前
多张图片生成视频模型技术深度解析
人工智能·笔记·深度学习·算法·音视频
格林威1 小时前
机器视觉检测的光源基础知识及光源选型
人工智能·深度学习·数码相机·yolo·计算机视觉·视觉检测
今天也要学习吖2 小时前
谷歌nano banana官方Prompt模板发布,解锁六大图像生成风格
人工智能·学习·ai·prompt·nano banana·谷歌ai
Hello123网站2 小时前
glean-企业级AI搜索和知识发现平台
人工智能·产品运营·ai工具
AKAMAI2 小时前
Queue-it 为数十亿用户增强在线体验
人工智能·云原生·云计算
索迪迈科技2 小时前
INDEMIND亮相2025科技创变者大会,以机器人空间智能技术解锁具身智能新边界
人工智能·机器人·扫地机器人·空间智能·陪伴机器人
栒U2 小时前
一文从零部署vLLM+qwen0.5b(mac本地版,不可以实操GPU单元)
人工智能·macos·vllm
沫儿笙3 小时前
FANUC发那科焊接机器人铝材焊接节气
人工智能·机器人