强化学习DPO算法

论文:Direct Preference Optimization: Your Language Model is Secretly a Reward Model

RLHF

https://blog.csdn.net/pipisorry/article/details/134052380?

DPO算法

DPO loss推导过程

目标函数

通过目标函数推导出最优RM模型的形式

Note: 这里的r(x,y)是无法直接求解的,因为Z中也包含r。但可以说明的是最优的语言模型,实际上都对应着一个隐含的RM,也就是说最优的语言模型自然隐含着一个最优的RM。

将r(x,y)代入BT模型学习偏好目标:

得到最终DPO的loss:

-柚子皮-

DPO优化求导解析

DPO梯度更新的直观理解:增加被人类偏好数据的生成概率,降低不被人类偏好,同时模隐式reward误差越大,权重也越大。

DPO的训练流程

去除了Reward Model和强化学习部分的训练,DPO算法不需要也不包含critic的V(s)它直接优化πθ。

两步骤进行训练:

1 用收集的人类偏好数据中更受偏好的数据SFT模型;

2 在该SFT模型上,用人类偏好数据,通过DPO训练目标训练模型。

Note: DPO看上去只学习了r和偏好,所以需要训练的第一步更好?

DPO训练语料prompt+1正例+1反例:

复制代码
{
    "prompt": "What is the capital of China?",
    "chosen": "The capital of China is Beijing.",
    "rejected": "The capital of China is Shanghai."
}

DPO算法评价

DPO与SFT

DPO的训练更像 SFT,但从理论基础和目标看仍然属于RL算法。SFT 的目标仅仅是模仿数据分布(最大化似然),并不关心"好"与"差"的相对排序或奖励最大化。DPO 关心的是偏序关系,这是 RL(特别是偏好优化)的核心。

DPO 是披着 SFT 外衣的 RL 算法。 它继承了 RL 的核心目标(最大化偏好/奖励),但通过巧妙的数学变换,将计算化简为了监督学习的损失函数,从而获得了 SFT 的便利性和 RL 的对齐效果。

这也正是 DPO 大受欢迎的原因:用 SFT 的简单性,实现了 RL 的对齐能力。

DPO与RLHF

虽理论上DPO与RLHF等价,但偏好数据有限训练出的Policy并不最优,对应的RM不能准确代表偏好。而训练一个泛化的RM可帮助优化出一个泛化性更强的Policy

DPO与PPO

特性 PPO (传统 RL) DPO
训练方式 在线/离线采样 + 重要性采样 静态数据集上的分类目标
需要环境交互 是 否
需要价值函数 V(s) 是 否
损失函数形式 策略梯度 + 裁剪 + KL惩罚 二分类损失 (如 logistic regression)
核心操作 (state, action) -> reward (chosen, rejected) -> preference

只看代码,你会觉得 DPO 就是:拿两个文本给模型看,让它更倾向于生成 chosen,而不是 rejected。

DPO与对比学习

DPO不是对比学习,它优化的是获胜回答和失败回答的概率差,不是表征相似度。

对比学习是为了改善表征一致性,不适合用来"继续训练"以改变生成行为,强项在表征学习,不是策略优化。

不同范式的示例

SFT:你拿字帖(示范数据)给一个小孩,让他照着抄。目标是"写得像字帖"。

RL (PPO):你给小孩一个分数(奖励),让他自己试错写很多遍,每次根据分数调整写法。目标是"拿高分"。

DPO:你给小孩两篇作文(一篇好一篇差),让他学会"区分好坏并倾向于写好作文",但不让他真的去考试拿分。他学习的方式是看比较(分类),而不是试错(交互)。

from:https://blog.csdn.net/pipisorry/article/details/161107152

ref: !DPO两步骤训练:Direct Preference Optimization(DPO)学习笔记 - 知乎

史上最详细的强化学习DPO算法详解

【强化学习】DPO(Direct Preference Optimization)算法学习笔记

相关推荐
forest_091 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区2 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔2 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区2 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1233 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI3 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健3 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV3 小时前
Google 重返第一梯队
人工智能·google·aigc
十有八七4 小时前
手搓 Agent(五):学会翻书——RAG,先查资料再回答
前端·人工智能·后端