OpenAI RLHF的理解

OpenAI RLHF的理解

1. RLHF 的优化目标

objective=E(x,y)∼DπθRLrθ(x,y)−βlog⁡πθ(y∣x)πref(y∣x)+γ Ex∼Dpretrainlog⁡πθRL(x) \text{objective} = \mathbb{E}{(x,y) \sim D{\pi_\theta^{RL}}} \left r_\\theta(x, y) - \\beta \\log \\frac{\\pi_\\theta(y \\mid x)}{\\pi_{\\text{ref}}(y \\mid x)} \\right + \gamma \, \mathbb{E}{x \sim D{\text{pretrain}}} \left \\log \\pi_\\theta\^{RL}(x) \\right objective=E(x,y)∼DπθRLrθ(x,y)−βlogπref(y∣x)πθ(y∣x)+γEx∼DpretrainlogπθRL(x)


2. 用 PPO-clip 来优化上述目标

arg⁡max⁡θ E(x,y)∼Dπoldmin⁡(πnew(y∣x)πold(y∣x)A,  clip ⁣(πnew(y∣x)πold(y∣x), 1−ε, 1+ε)A) \arg\max_{\theta} \, \mathbb{E}{(x,y) \sim D{\pi_{old}}} \left \\min \\left( \\frac{\\pi_{\\text{new}}(y \\mid x)}{\\pi_{\\text{old}}(y \\mid x)} A,\\; \\text{clip}\\!\\left( \\frac{\\pi_{\\text{new}}(y \\mid x)}{\\pi_{\\text{old}}(y \\mid x)},\\, 1-\\varepsilon,\\, 1+\\varepsilon \\right) A \\right) \\right argθmaxE(x,y)∼Dπoldmin(πold(y∣x)πnew(y∣x)A,clip(πold(y∣x)πnew(y∣x),1−ε,1+ε)A)


3. 为此需要计算如下变量

需要估计以下三个量:

  • πnew(y∣x)\pi_{\text{new}}(y \mid x)πnew(y∣x):当前策略在给定 xxx 下生成 yyy 的概率
  • πold(y∣x)\pi_{\text{old}}(y \mid x)πold(y∣x):旧策略在给定 xxx 下生成 yyy 的概率
  • AAA:优势函数(Advantage)

变量说明: 在上述表达式中,xxx 是用户 prompt,yyy 是生成的 token,π(y∣x)\pi(y \mid x)π(y∣x) 是在策略π\piπ 下prompt xxx 生成 yyy 的概率。

优势函数定义:

A=R−Value(x) A = R - \text{Value}(x) A=R−Value(x)

其中 Value\text{Value}Value 是一个神经网络结构(价值网络)。


4. 完整 RLHF 流程示例

用一个具体例子描述完整的 RLHF 流程:

变量 值
xxx(用户问) "如何减肥"
yyy(回答) "每天控制饮食并运动"
πθ(y∣x)\pi_\theta(y \mid x)πθ(y∣x) 当前策略下,已知 xxx生成yyy的概率 0.4
πSFT(y∣x)\pi_{SFT}(y \mid x)πSFT(y∣x) 当SFT模型下,已知 xxx生成yyy的概率 0.3
Reward Model 打分 rθ(x,y)=0.8r_\theta(x, y) = 0.8rθ(x,y)=0.8
价值网络打分 Value(x)=0.2\text{Value}(x) = 0.2Value(x)=0.2

计算 Advantage:

KL=log⁡πθ(y∣x)πSFT(y∣x) KL = \log \frac{\pi_{\theta}(y \mid x)}{\pi_{SFT}(y \mid x)} KL=logπSFT(y∣x)πθ(y∣x)

A=rθ(x,y)−β∗KL−Value(x) A = r_\theta(x, y) - \beta* KL -\text{Value}(x) A=rθ(x,y)−β∗KL−Value(x)

至此,πθ(y∣x)\pi_{\theta}(y \mid x)πθ(y∣x)、πSFT(y∣x)\pi_{\text{SFT}}(y \mid x)πSFT(y∣x) 以及 AAA 全部就绪,


结合 Advantage 引入到 PPO-clip 中的所有变量均已确定。其中初始时令:

πnew=π训练时候(y∣x) \pi_{\text{new}} = \pi_{\text{训练时候}}(y \mid x) πnew=π训练时候(y∣x)

πold=πrollout时模型(y∣x) \pi_{\text{old}} = \pi_{\text{rollout时模型}}(y \mid x) πold=πrollout时模型(y∣x)


5. 用工程语言描述 RLHF 的完整流程

涉及的模型

模型 作用 输入输出
Actor Model 训练目标模型,生成回复 x→Actoryx \xrightarrow{\text{Actor}} yxActor y,输出 P(y)P(y)P(y) 的概率分布
Reward Model 打分模型 (x,y)→Rewardr∼(0,1)(x, y) \xrightarrow{\text{Reward}} r \sim (0, 1)(x,y)Reward r∼(0,1)
Reference Model SFT 基准模型,用于计算 KL 散度 x→Refyx \xrightarrow{\text{Ref}} yxRef y,输出 P(y)P(y)P(y) 概率
Critic Model Value 价值网络,估计状态价值 x→CriticV∼(0,1)x \xrightarrow{\text{Critic}} V \sim (0, 1)xCritic V∼(0,1)
Pretrain Model OpenAI 的底层语言模型 ---

步骤

  1. 输入 prompt: "如何减肥"
  2. 通过 Actor Model 生成 response :"每天控制饮食并运动",得到 πθ(y∣x)\pi_{\theta}(y \mid x)πθ(y∣x)
  3. 用 Reward Model 打分 :(x,y)→Reward Modelr(x, y) \xrightarrow{\text{Reward Model}} r(x,y)Reward Model r
  4. 计算 KL 散度 :用 Reference Model 算出 rθ(x,y)r_\theta(x,y)rθ(x,y),用sft模型得到 πSFT(y∣x)\pi_{\text{SFT}}(y \mid x)πSFT(y∣x),按 OpenAI 方式计算:FinalReward=rθ(x,y)−β⋅KL ⁣(πθ∥πSFT)+LLM \text{FinalReward} = r_\theta(x,y) - \beta \cdot \text{KL}\!\left(\pi_\theta \| \pi_{\text{SFT}}\right) + \mathcal{L}_{\text{LM}}FinalReward=rθ(x,y)−β⋅KL(πθ∥πSFT)+LLM
  5. 用 Critic Model 估算 Value 值 :V=Critic(x)V = \text{Critic}(x)V=Critic(x)
  6. 计算优势函数 AAA :
    A=FinalReward−Critic Model 的值 A = \text{FinalReward} - \text{Critic Model 的值} A=FinalReward−Critic Model 的值
  7. 用 PPO-clip 更新策略 (loop):
    • πnew\pi_{\text{new}}πnew:训练时候一个epoch的更新后的模型,用这个模型得到的这个 token 的输出概率
    • πold\pi_{\text{old}}πold:Rollout时候的token输出概率

参考:

1 Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelley, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P., Leike, J., & Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35, 27730--27744. https://arxiv.org/abs/2203.02155

相关推荐
ZhengEnCi8 小时前
AI 读不懂你的代码怎么办:用高价值注释消除曲解、过度优化与上下文膨胀
aigc·ai编程
爱查宝小二11 小时前
爱查宝降AIGC效果实测与过检能力展示
aigc
花椒技术11 小时前
从“实时生成游戏”出发,我们用 AI 做了四次游戏开发尝试
人工智能·aigc·游戏开发
花椒技术13 小时前
数字人为什么突然爆发?从 H3 Max Lip Sync 看生成式数字人的临界点
人工智能·aigc
小虎AI生活13 小时前
太好了!豆包终于接入了多模型,正面硬刚WorkBuddy
aigc·ai编程
Csvn17 小时前
所有问题都喂最贵的模型?规则路由实测:30 个问题里 16 个能交给便宜模型(C03)
人工智能·aigc·agent
掘黄金的打工人20 小时前
LangChain 少样本示例 和 动态示例选择
langchain·aigc·ai编程
浪遏1 天前
CLI Anything|让 AI 操作求职工作台:Flowing CLI 的产品与架构
aigc
小虎AI生活1 天前
新出的 Hy4 flash 好用吗?我用 WorkBuddy 做了个小测试
aigc·ai编程
CocoaKier1 天前
苹果开发者注意,请在2027年1月31日前完成合规验证,否则中国区可能下架
ios·aigc·apple