大模型-微调与对齐-非强化学习的对齐方法

一、简介

1、为什么需要使用非强化学习对齐方法,因为RLHF有以下缺点
  • 需要同时维护更新多个模型,资源占用多,执行过程复杂
  • 近端策略优化算法在优化过程中稳定性较差,对超参数取值较为敏感,增加了训练的难度和不确定性
2、改进
  • 改进方式:直接基于监督微调的对齐方法,利用高质量数据集,通过特定监督学习算法对大模型进行微调
  • 改进后的优点:更简洁、更直接、避免复杂的强化学习算法带来的种种问题
  • 监督微调算法过程:在优化过程中使得模型能够区分对齐的数据和未对齐的数据(或者对齐质量的高低),进而从数据中学习到人类期望对齐的行为模式
  • 监督微调对齐两要素
    • 高质量对齐数据集
    • 设计监督微调算法

二、对齐数据的收集

1、具体方式
  • 基于奖励模型构建
  • 利用经过对齐的大模型来构建
2、基于奖励模型的方法
  • 训练过程
    1、大模型基于输入生成输出
    2、奖励模型打分、分组、生成对齐数据
    3、监督微调待对齐大模型
3、基于大模型的方法
  • 训练过程
    1、使用自然语言指令与相关示例让大模型对自己输出进行评价、检查,并对有害内容进行修正,最终生成对齐数据
    2、两个模型不停对话,不停修正,生成对齐数据

三、代表性监督微调算法DPO

1、DPO
  • 简介:直接偏好优化算法,通过有监督微调相似的复杂度实现模型对齐,不需要训练中采样,超参数选择也很容易
  • 思想:在强化学习的目标函数中建立决策函数与奖励函数之间的关系,以规避奖励建模的过程
  • 特点:
    1、不仅训练模型生成人类偏好内容,同时会降低生成不符合人类偏好内容的概率
    2、只需要加载策略模型和参考模型,不用加载奖励模型和评价模型,占用资源少,运行效率高,对齐性能好

四、其他有监督微调算法

1、思想
  • 基于对齐数据,使用传统的序列到序列生成目标(交叉熵损失)来优化
  • 搭配一些辅助优化慕白哦,增加对齐数据的学习利用效率
2、基于质量提示的训练目标

使用提示技术帮助模型区分正负例

3、基于质量对比的训练目标

使用针对质量排过序的输出内容协助模型进行训练

五、SFT、RLHF

  • 指令微调在有的理论里面是属于监督微调(SFT)的一部分,SFT是RLHF的第一个流程
  • SFT作用是解锁大模型能力,不能扩充大模型能力,如果微调时有一些输入超过大模型能力,大模型容易出现幻象
  • RLHF能增加模型的综合能力,增强有用性和无害性,但是RLHF的训练过程不稳定,经过SFT之后再RLHF会好很多
相关推荐
Dm_dotnet13 小时前
公益站Agent Router注册送200刀额度竟然是真的
人工智能
算家计算13 小时前
7B参数拿下30个世界第一!Hunyuan-MT-7B本地部署教程:腾讯混元开源业界首个翻译集成模型
人工智能·开源
机器之心13 小时前
LLM开源2.0大洗牌:60个出局,39个上桌,AI Coding疯魔,TensorFlow已死
人工智能·openai
Juchecar14 小时前
交叉熵:深度学习中最常用的损失函数
人工智能
林木森ai14 小时前
爆款AI动物运动会视频,用Coze(扣子)一键搞定全流程(附保姆级拆解)
人工智能·aigc
聚客AI15 小时前
🙋‍♀️Transformer训练与推理全流程:从输入处理到输出生成
人工智能·算法·llm
BeerBear16 小时前
【保姆级教程-从0开始开发MCP服务器】一、MCP学习压根没有你想象得那么难!.md
人工智能·mcp
小气小憩17 小时前
“暗战”百度搜索页:Monica悬浮球被“围剿”,一场AI Agent与传统巨头的流量攻防战
前端·人工智能
神经星星17 小时前
准确度提升400%!印度季风预测模型基于36个气象站点,实现城区尺度精细预报
人工智能
IT_陈寒19 小时前
JavaScript 性能优化:5 个被低估的 V8 引擎技巧让你的代码快 200%
前端·人工智能·后端