PPO系列3 - PPO原理

On Policy:

采集数据的模型,和训练的模型,是同一个。缺点:慢,生成一批样本数据,训练一次,又要重新生成下一批。

Off Policy:

采集数据的模型,和训练的模型,不是同一个。有点:快,生成一批样本数据,可以供训练多次。

例子:

On Policy: 小明上课玩手机,老师批评了小明,小明做了改正不玩手机了。行为是小明产生的,改正也是小明做的,所以是On Policy。

Off Policy: 小明上课玩手机,老师批评了小明,和小明同样喜欢上课玩儿手机的小王,看到小明因为这个被批评后,做了改正不玩手机了。行为是小明产生的,改正是小王做的,所以是Off Policy。

重要性采样

从最开始的x服从p分布,转化到x服从q分布。

把重要性采样,用在GAE强化学习上:

以上就是PPO的梯度。

以下就是PPO的损失函数:

在参考模型上进行采样,并且A里的状态价值V也是用参考模型的。

训练模型和参考模型,不能偏差过大

例子:如果小王是成绩好的学生,那么,差生小明因为考试经常交白卷被老师批评,这件事被小王看到,则对小王影响不大,小王没啥要改正的地方。只有当小王也是差生也有时会交白卷,此事才对小王有警示作用,促其改正。

加约束,有2种方式:

第1个是把KL散度加到loss里。(2个分布完全相等时,KL散度为0;差异越大,KL散度越大)

第2个是加约束,P比值,不能超出一个范围。

相关推荐
草履虫AI课9 小时前
强化学习从零到一 06|同策略与异策略:探路的和学习的,可以不是同一个
强化学习
梯度下降者1 天前
让AI的“隐形思维“也能越练越强,这项突破或将重写推理效率的边界
ai·强化学习·潜在推理·代理概率·停止门
草履虫AI课3 天前
强化学习从零到一 05|蒙特卡洛:跑完整趟,用平均回报估价值
强化学习
泯泷3 天前
该 SFT、RL 还是 Mid-training?先搞清楚模型到底"缺"了什么
llm·agent·强化学习
泯泷4 天前
模型"缺课"了:为什么该补底座,而不是急着上 RL
llm·agent·强化学习
盼小辉丶5 天前
PyTorch强化学习实战(35)——多智能体强化学习
人工智能·pytorch·深度学习·强化学习
Rocky Ding*6 天前
【三年面试五年模拟】2026-11-05_月之暗面大模型算法岗一面、二面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·强化学习·ai-native
lucas_AI6 天前
RL 训练的树枝该长在哪?别看哪里不确定,要看哪里的「梯度」最值钱
机器学习·强化学习
爱听歌的周童鞋8 天前
MIT 6.5940 | TinyML 与高效 AI 计算 | Fall 2026 | 笔记 | Lecture 14:LLM Post Training
大语言模型·强化学习·tinyml·后训练·mit 6.5940·高效 ai 计算
橙臣程9 天前
RL 冷启动省在哪?从 GRPO 同分组到工具调用奖励
强化学习