大模型-微调与对齐-非强化学习的对齐方法

一、简介

1、为什么需要使用非强化学习对齐方法,因为RLHF有以下缺点
  • 需要同时维护更新多个模型,资源占用多,执行过程复杂
  • 近端策略优化算法在优化过程中稳定性较差,对超参数取值较为敏感,增加了训练的难度和不确定性
2、改进
  • 改进方式:直接基于监督微调的对齐方法,利用高质量数据集,通过特定监督学习算法对大模型进行微调
  • 改进后的优点:更简洁、更直接、避免复杂的强化学习算法带来的种种问题
  • 监督微调算法过程:在优化过程中使得模型能够区分对齐的数据和未对齐的数据(或者对齐质量的高低),进而从数据中学习到人类期望对齐的行为模式
  • 监督微调对齐两要素
    • 高质量对齐数据集
    • 设计监督微调算法

二、对齐数据的收集

1、具体方式
  • 基于奖励模型构建
  • 利用经过对齐的大模型来构建
2、基于奖励模型的方法
  • 训练过程
    1、大模型基于输入生成输出
    2、奖励模型打分、分组、生成对齐数据
    3、监督微调待对齐大模型
3、基于大模型的方法
  • 训练过程
    1、使用自然语言指令与相关示例让大模型对自己输出进行评价、检查,并对有害内容进行修正,最终生成对齐数据
    2、两个模型不停对话,不停修正,生成对齐数据

三、代表性监督微调算法DPO

1、DPO
  • 简介:直接偏好优化算法,通过有监督微调相似的复杂度实现模型对齐,不需要训练中采样,超参数选择也很容易
  • 思想:在强化学习的目标函数中建立决策函数与奖励函数之间的关系,以规避奖励建模的过程
  • 特点:
    1、不仅训练模型生成人类偏好内容,同时会降低生成不符合人类偏好内容的概率
    2、只需要加载策略模型和参考模型,不用加载奖励模型和评价模型,占用资源少,运行效率高,对齐性能好

四、其他有监督微调算法

1、思想
  • 基于对齐数据,使用传统的序列到序列生成目标(交叉熵损失)来优化
  • 搭配一些辅助优化慕白哦,增加对齐数据的学习利用效率
2、基于质量提示的训练目标

使用提示技术帮助模型区分正负例

3、基于质量对比的训练目标

使用针对质量排过序的输出内容协助模型进行训练

五、SFT、RLHF

  • 指令微调在有的理论里面是属于监督微调(SFT)的一部分,SFT是RLHF的第一个流程
  • SFT作用是解锁大模型能力,不能扩充大模型能力,如果微调时有一些输入超过大模型能力,大模型容易出现幻象
  • RLHF能增加模型的综合能力,增强有用性和无害性,但是RLHF的训练过程不稳定,经过SFT之后再RLHF会好很多
相关推荐
阿坡RPA8 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户27784491049938 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心8 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI10 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c11 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20511 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清12 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh12 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员12 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物12 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技