【RLHF个人笔记】RLHF:Reinforcement Learning from Human Feedback具体过程

【RLHF个人笔记】RLHF:Reinforcement Learning from Human Feedback具体过程

RLHF训练的三个步骤

步骤1:收集数据与有监督训练策略

  1. 从数据集中采样的prompt提问

  2. 数据标注者(人工)给出最合理的回答,组成问答机制对 < Q , A > <Q,A> <Q,A>

  3. 利用问答机制通过SFT有监督精调GPT3.5,得到策略policy

步骤2:收集数据训练奖励模型

  1. 继续采样prompt,将prompt输入一个或多个 LLM 生成对比数据。他们产生了几对提示-答案 < Q , A > <Q,A> <Q,A>
  2. 人类标注者根据模型回答的质量,对回答的好坏进行排序(收集人类反馈)
  3. 得到排序的数据集后,训练奖励模型,奖励模型能够根据输入给出一个标量奖励值,代表人类对这些输出或行为的偏好
  4. 经过充分的训练,奖励模型可以在没有人为干预的情况下对智能体的输出或行为进行打分,以量化其符合人类偏好的程度

    图中的ELO是指建立其人类对于输出的相对排名

步骤3:结合奖励模型利用强化学习算法如PPO算法来优化策略

  1. 再次采样prompt,利用PPO模型(由前面第一步得到的策略初始化)产生结果得到 < Q , A > <Q,A> <Q,A>
  2. 将 < Q , A > <Q,A> <Q,A>输入奖励模型,产生打分(奖励)
  3. 利用奖励信号评估策略的输出,通过强化学习算法来优化策略(比如 PPO模型)
  4. 创建一个循环来优化微调策略:通过新采样的数据,在强化学习过程中,策略会生成新的输出或行为,并根据奖励模型的反馈进行迭代优化。这个过程会不断重复,直到模型的性能达到满意的水平

    policy是给GPT输入文本后输出结果的过程,即GPT推理的过程

整体流程图:

参考内容

1. HuggingFace官方博客:Illustrating Reinforcement Learning from Human Feedback (RLHF)
2. B站里看的一个视频:RLHF大模型加强学习机制原理介绍

相关推荐
普if加的帕22 分钟前
java Springboot使用扣子Coze实现实时音频对话智能客服
java·开发语言·人工智能·spring boot·实时音视频·智能客服
KoiC31 分钟前
Dify接入RAGFlow无返回结果
人工智能·ai应用
YuCaiH31 分钟前
数组理论基础
笔记·leetcode·c·数组
lilye6642 分钟前
精益数据分析(20/126):解析经典数据分析框架,助力创业增长
大数据·人工智能·数据分析
盈达科技1 小时前
盈达科技:登顶GEO优化全球制高点,以AICC定义AI时代内容智能优化新标杆
大数据·人工智能
安冬的码畜日常1 小时前
【AI 加持下的 Python 编程实战 2_10】DIY 拓展:从扫雷小游戏开发再探问题分解与 AI 代码调试能力(中)
开发语言·前端·人工智能·ai·扫雷游戏·ai辅助编程·辅助编程
古希腊掌管学习的神1 小时前
[LangGraph教程]LangGraph04——支持人机协作的聊天机器人
人工智能·语言模型·chatgpt·机器人·agent
FIT2CLOUD飞致云1 小时前
问答页面支持拖拽和复制粘贴文件,MaxKB企业级AI助手v1.10.6 LTS版本发布
人工智能·开源
起个破名想半天了1 小时前
计算机视觉cv入门之答题卡自动批阅
人工智能·opencv·计算机视觉
早睡早起吧1 小时前
目标检测篇---Fast R-CNN
人工智能·目标检测·计算机视觉·cnn