大模型-微调与对齐-非强化学习的对齐方法

一、简介

1、为什么需要使用非强化学习对齐方法,因为RLHF有以下缺点
  • 需要同时维护更新多个模型,资源占用多,执行过程复杂
  • 近端策略优化算法在优化过程中稳定性较差,对超参数取值较为敏感,增加了训练的难度和不确定性
2、改进
  • 改进方式:直接基于监督微调的对齐方法,利用高质量数据集,通过特定监督学习算法对大模型进行微调
  • 改进后的优点:更简洁、更直接、避免复杂的强化学习算法带来的种种问题
  • 监督微调算法过程:在优化过程中使得模型能够区分对齐的数据和未对齐的数据(或者对齐质量的高低),进而从数据中学习到人类期望对齐的行为模式
  • 监督微调对齐两要素
    • 高质量对齐数据集
    • 设计监督微调算法

二、对齐数据的收集

1、具体方式
  • 基于奖励模型构建
  • 利用经过对齐的大模型来构建
2、基于奖励模型的方法
  • 训练过程
    1、大模型基于输入生成输出
    2、奖励模型打分、分组、生成对齐数据
    3、监督微调待对齐大模型
3、基于大模型的方法
  • 训练过程
    1、使用自然语言指令与相关示例让大模型对自己输出进行评价、检查,并对有害内容进行修正,最终生成对齐数据
    2、两个模型不停对话,不停修正,生成对齐数据

三、代表性监督微调算法DPO

1、DPO
  • 简介:直接偏好优化算法,通过有监督微调相似的复杂度实现模型对齐,不需要训练中采样,超参数选择也很容易
  • 思想:在强化学习的目标函数中建立决策函数与奖励函数之间的关系,以规避奖励建模的过程
  • 特点:
    1、不仅训练模型生成人类偏好内容,同时会降低生成不符合人类偏好内容的概率
    2、只需要加载策略模型和参考模型,不用加载奖励模型和评价模型,占用资源少,运行效率高,对齐性能好

四、其他有监督微调算法

1、思想
  • 基于对齐数据,使用传统的序列到序列生成目标(交叉熵损失)来优化
  • 搭配一些辅助优化慕白哦,增加对齐数据的学习利用效率
2、基于质量提示的训练目标

使用提示技术帮助模型区分正负例

3、基于质量对比的训练目标

使用针对质量排过序的输出内容协助模型进行训练

五、SFT、RLHF

  • 指令微调在有的理论里面是属于监督微调(SFT)的一部分,SFT是RLHF的第一个流程
  • SFT作用是解锁大模型能力,不能扩充大模型能力,如果微调时有一些输入超过大模型能力,大模型容易出现幻象
  • RLHF能增加模型的综合能力,增强有用性和无害性,但是RLHF的训练过程不稳定,经过SFT之后再RLHF会好很多
相关推荐
汤姆宝库42 分钟前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静43 分钟前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康1 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea2 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen2 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
小七-七牛开发者2 小时前
周 1 上线 | DSH 喜提原神进场动画,Anthropic 启动 IPO 路演;黄仁勋辞任;微软全球大宕机超 24 小时
ai·大模型·agent·token·工作流·claudecode·ai coding
泯泷3 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘3 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
阿里云大数据AI技术3 小时前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
XLYcmy3 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测