强化学习笔记6——异同策略、AC、等其他模型总结

异步两种方法:1:经验回放 2:数据动作非同时产生

举例QLearning为什么是异策略?

生成动作时e的概率从Q表选,1-e概况随机。 更新策略时,贪心策略选择Q_max作为动作。

策略优化两种主要方法:基于梯度下降和基于值函数

Policy Gradient主要缺点:不稳定 (坏策略迭代导致越来越坏),都是on-policy的 始终都是一种策略采样和更新效率低。
###########################################################################

Policy Gradient主要优化目标:(笔记5里有讲)

这里对比A3C 改进版的优化目标

############################################################################

AC,A2C,A3C 参考



这里注意Critic网络和Actor网络的更新:

对于Actor网络的策略梯度更新,使用Glearning策略梯度定理根据当前的策略 计算更新梯度

对于Critic网络的值函数更新,我们可以使用TD误差来计算当前状态值和下一时刻状态值之间的误差

A2C使用优势函数代替Critic网络中的原始回报Gt,可以作为衡量选取动作值和所有动作平均值好坏的指标。

A3C中,有一个全局网络(global network)和多个工作智能体(worker)

global network和worker里面都是A2C

worker和环境交互计算梯度不更新,传给globalNet。

globalNet不和环境交互,收集所有worker传来的梯度一起更新,然后将参数copy给worker。

==

总结:AC更新 actor使用策略梯度下降更新

Critic使用一下6选1都可以更新

相关推荐
镰刀韭菜16 小时前
【大语言模型】大模型后训练入门指南
人工智能·自然语言处理·大语言模型·强化学习·ppo·后训练·grpo
bylander1 天前
【论文阅读】A Survey of Reinforcement Learning for Large Reasoning Models
论文阅读·大模型·llm·强化学习
Phoenixtree_DongZhao2 天前
《Nature》封面:DeepSeek-R1通过强化学习激发大语言模型的推理能力
人工智能·强化学习·混合专家
九章云极AladdinEdu2 天前
集成学习智慧:为什么Bagging(随机森林)和Boosting(XGBoost)效果那么好?
人工智能·随机森林·机器学习·强化学习·集成学习·boosting·ai研究
zzzyzh15 天前
RL【8】:Value Function Approximation
强化学习
zzzyzh16 天前
RL【7-1】:Temporal-difference Learning
强化学习
大千AI助手18 天前
VeRL:强化学习与大模型训练的高效融合框架
人工智能·深度学习·神经网络·llm·强化学习·verl·字节跳动seed
zzzyzh20 天前
RL【3】:Bellman Optimality Equation
强化学习
songyuc21 天前
Simulations RL 平台学习笔记
rl
deepdata_cn24 天前
强化学习框架(AReaL)
强化学习