PPO系列4 - Reward模型训练

流程:

训练Reward模型

训练数据:

相比给每条回答进行打分,人类更容易给出两者的比较结果。这样标注出来的数据,准确性更高。

模型:

可以使用和生成模型能力差不多的模型(或者更强的模型),作为Reward模型。

不能使用太差的模型,因为Reward模型是"老师"的角色,差老师教不出好学生。

但可以使用和生成模型能力差不多的模型。因为:Reward打分任务,比生成任务,难度小很多,更容易做对。例如:我来评判一篇文章《赤兔之死》是否写得好,比自己写出这种水平的文章,要容易很多。

是否能用强化学习无限提升模型能力?答:不行的。大模型的能力主要是在预训练阶段决定下来了,SFT和强化学习,都只是让大模型能力尽量发挥出来。

生成式模型:

如上,生成是N个token的概率。

Reward模型:

如上,输入是(question+chosen)或(question+rejected),生成是1个得分。

因此,Reward模型,只需要把生成式模型的最后一层(LM Head),替换成生成1个得分的层(Score Head),即可。前面的层可复用。

损失函数:

让chosen和分数 - rejected的分数,越大越好。

Reward模型推理2次,1次计算chosen的得分,1次计算rejected的得分。

代码:可用Huggingface的trl库里的RewardTrainer来做训练。

相关推荐
r0ad10 小时前
DeepSeek-R1技术突破:纯RL训练竟能激发大模型"反思"能力?
强化学习·deepseek
s1ckrain4 天前
【论文阅读】DeepEyes: Incentivizing “Thinking with Images” via Reinforcement Learning
论文阅读·强化学习·多模态大模型·vlm
智能汽车人6 天前
Robot---能打羽毛球的机器人
人工智能·机器人·强化学习
SunStriKE17 天前
veRL代码阅读-2.Ray
强化学习
我爱C编程18 天前
基于强化学习的5G通信网络基站资源动态分配策略matlab性能仿真
5g·matlab·强化学习·基站资源动态分配
微软开发者18 天前
极客说|强化学习(RL)与有监督微调(SFT)的选择以及奖励函数的优化
强化学习
SunStriKE20 天前
veRL代码阅读-1.论文原理
深度学习·强化学习·源码阅读
Listennnn21 天前
强化学习三大分类
人工智能·强化学习
JNU freshman22 天前
强化学习之 DQN、Double DQN、PPO
强化学习
MarkGosling22 天前
【资源合集】强化学习训练LLM Agents的实战资源库:AgentsMeetRL
llm·agent·强化学习