强化学习笔记6——异同策略、AC、等其他模型总结

异步两种方法:1:经验回放 2:数据动作非同时产生

举例QLearning为什么是异策略?

生成动作时e的概率从Q表选,1-e概况随机。 更新策略时,贪心策略选择Q_max作为动作。

策略优化两种主要方法:基于梯度下降和基于值函数

Policy Gradient主要缺点:不稳定 (坏策略迭代导致越来越坏),都是on-policy的 始终都是一种策略采样和更新效率低。
###########################################################################

Policy Gradient主要优化目标:(笔记5里有讲)

这里对比A3C 改进版的优化目标

############################################################################

AC,A2C,A3C 参考



这里注意Critic网络和Actor网络的更新:

对于Actor网络的策略梯度更新,使用Glearning策略梯度定理根据当前的策略 计算更新梯度

对于Critic网络的值函数更新,我们可以使用TD误差来计算当前状态值和下一时刻状态值之间的误差

A2C使用优势函数代替Critic网络中的原始回报Gt,可以作为衡量选取动作值和所有动作平均值好坏的指标。

A3C中,有一个全局网络(global network)和多个工作智能体(worker)

global network和worker里面都是A2C

worker和环境交互计算梯度不更新,传给globalNet。

globalNet不和环境交互,收集所有worker传来的梯度一起更新,然后将参数copy给worker。

==

总结:AC更新 actor使用策略梯度下降更新

Critic使用一下6选1都可以更新

相关推荐
SunStriKE12 天前
veRL代码阅读-2.Ray
强化学习
我爱C编程12 天前
基于强化学习的5G通信网络基站资源动态分配策略matlab性能仿真
5g·matlab·强化学习·基站资源动态分配
微软开发者12 天前
极客说|强化学习(RL)与有监督微调(SFT)的选择以及奖励函数的优化
强化学习
SunStriKE14 天前
veRL代码阅读-1.论文原理
深度学习·强化学习·源码阅读
Listennnn16 天前
强化学习三大分类
人工智能·强化学习
JNU freshman16 天前
强化学习之 DQN、Double DQN、PPO
强化学习
MarkGosling16 天前
【资源合集】强化学习训练LLM Agents的实战资源库:AgentsMeetRL
llm·agent·强化学习
汤姆和佩琦17 天前
LLMs基础学习(八)强化学习专题(4)
学习·强化学习·策略随机探索
Gowi_fly19 天前
从 PPO、DPO 到 GRPO:大语言模型策略优化算法解析
llm·强化学习
我不是小upper20 天前
AReaL-boba²:首个全异步强化学习训练系统它来了!!
人工智能·强化学习