PPO到GRPO自己话总结

==**通俗易懂的来说**==

PPO的总体流程就是用policy model(训练的模型)去生成样本组,然后计算奖励V,用v去计算advantage,然后去更新policy和value

\[Agentic RL和RLHF区别是什么?\]

他主要有四个模型

1、policy model(待训练的模型)

2、reference model (被冻结的老模型)

3、reward model 打分模型

4、value model 估分基准模型

==**advantage=reward-value,如果是多步的(即中间有reward的,即用累计的reward-value)**==

然后GRPO是对PPO的一种简化方法,他不需要value model,使用组内相对奖励代替绝对奖励,取代了V

理论上只需要 Policy Model 和 Reference Model;

那他怎么算reward,如果有真值答案,那直接真值判分

也可以用llm as judge,看具体情况

PPO的问题就是太依赖老师的value能力,这个value很有可能不准

而GRPO一次生成多条样本,只进行相对比较,用均值(或者别的)作为PPO里面的value

然后再拿reward减去group_mean_reward

GRPO 的训练循环包括以下步骤:

  1. **采样阶段**:对于每个问题,使用当前策略生成多个答案(`num_generations`个)。这些答案构成一个"组",用于计算相对奖励。

  2. **奖励计算**:对每个生成的答案计算奖励 𝑟𝑖ri​。奖励可以是准确率、长度惩罚、步骤奖励或它们的组合。

  3. **相对奖励**:计算组内平均奖励 𝑟ˉ=1𝑁∑𝑖=1𝑁𝑟𝑖rˉ=N1​∑i=1N​ri​,然后计算相对奖励 𝑟^𝑖=𝑟𝑖−𝑟ˉr^i​=ri​−rˉ。这样做的好处是减少奖励方差,使训练更稳定。

  4. **策略更新**:使用相对奖励更新策略,同时添加 KL 散度惩罚,防止策略偏离参考模型太远。

  5. **重复**:重复上述步骤,直到完成所有训练轮次。

https://mp.weixin.qq.com/s/1phqxsmsDCGm14p4kesKaA

相关推荐
VIP_CQCRE3 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
wuyk5554 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
泯泷4 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
J船长4 小时前
Agent开发 00|从 ChatGPT 到生产级 AI Agent
agent
oak隔壁找我4 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁014 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit5 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
Csvn5 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
zhuangzhao1195 小时前
第一性原理大模型课程 · 第 21 课:从 Prompt 到 Agent:四件套、错误累积与 ReAct 手算
大模型·react·ai agent·错误累积·大模型课程
在所不辞兄6 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习