大模型-微调与对齐-非强化学习的对齐方法

一、简介

1、为什么需要使用非强化学习对齐方法,因为RLHF有以下缺点
  • 需要同时维护更新多个模型,资源占用多,执行过程复杂
  • 近端策略优化算法在优化过程中稳定性较差,对超参数取值较为敏感,增加了训练的难度和不确定性
2、改进
  • 改进方式:直接基于监督微调的对齐方法,利用高质量数据集,通过特定监督学习算法对大模型进行微调
  • 改进后的优点:更简洁、更直接、避免复杂的强化学习算法带来的种种问题
  • 监督微调算法过程:在优化过程中使得模型能够区分对齐的数据和未对齐的数据(或者对齐质量的高低),进而从数据中学习到人类期望对齐的行为模式
  • 监督微调对齐两要素
    • 高质量对齐数据集
    • 设计监督微调算法

二、对齐数据的收集

1、具体方式
  • 基于奖励模型构建
  • 利用经过对齐的大模型来构建
2、基于奖励模型的方法
  • 训练过程
    1、大模型基于输入生成输出
    2、奖励模型打分、分组、生成对齐数据
    3、监督微调待对齐大模型
3、基于大模型的方法
  • 训练过程
    1、使用自然语言指令与相关示例让大模型对自己输出进行评价、检查,并对有害内容进行修正,最终生成对齐数据
    2、两个模型不停对话,不停修正,生成对齐数据

三、代表性监督微调算法DPO

1、DPO
  • 简介:直接偏好优化算法,通过有监督微调相似的复杂度实现模型对齐,不需要训练中采样,超参数选择也很容易
  • 思想:在强化学习的目标函数中建立决策函数与奖励函数之间的关系,以规避奖励建模的过程
  • 特点:
    1、不仅训练模型生成人类偏好内容,同时会降低生成不符合人类偏好内容的概率
    2、只需要加载策略模型和参考模型,不用加载奖励模型和评价模型,占用资源少,运行效率高,对齐性能好

四、其他有监督微调算法

1、思想
  • 基于对齐数据,使用传统的序列到序列生成目标(交叉熵损失)来优化
  • 搭配一些辅助优化慕白哦,增加对齐数据的学习利用效率
2、基于质量提示的训练目标

使用提示技术帮助模型区分正负例

3、基于质量对比的训练目标

使用针对质量排过序的输出内容协助模型进行训练

五、SFT、RLHF

  • 指令微调在有的理论里面是属于监督微调(SFT)的一部分,SFT是RLHF的第一个流程
  • SFT作用是解锁大模型能力,不能扩充大模型能力,如果微调时有一些输入超过大模型能力,大模型容易出现幻象
  • RLHF能增加模型的综合能力,增强有用性和无害性,但是RLHF的训练过程不稳定,经过SFT之后再RLHF会好很多
相关推荐
Blossom.1182 分钟前
从“能写”到“能干活”:大模型工具调用(Function-Calling)的工程化落地指南
数据库·人工智能·python·深度学习·机器学习·计算机视觉·oracle
byzy31 分钟前
【论文笔记】RadarOcc: Robust 3D Occupancy Prediction with 4D Imaging Radar
论文阅读·深度学习·自动驾驶
Memene摸鱼日报31 分钟前
「Memene 摸鱼日报 2025.9.12」前OpenAI CTO 公司发布首篇技术博客,Qwen-Next 80B 发布,Kimi 开源轻量级中间件
人工智能·agi
飞机火车巴雷特36 分钟前
【论文阅读】Uncertainty Modeling for Out-of-Distribution Generalization (ICLR 2022)
论文阅读·深度学习·不确定性建模
飞哥数智坊43 分钟前
CodeBuddy CLI 实测:比 Claude Code 稚嫩,但我感觉值得期待
人工智能·ai编程
电商软件开发 小银1 小时前
本地生活服务平台创新模式观察:积分体系如何重塑消费生态?
大数据·人工智能·数字化转型·私域运营·消费者心理学
扬帆起航131 小时前
亚马逊新品推广破局指南:从手动试错到智能闭环的系统化路径
大数据·数据库·人工智能
小王爱学人工智能1 小时前
利用OpenCV进行指纹识别的案例
人工智能·opencv·计算机视觉
代码AI弗森1 小时前
DPO 深度解析:从公式到工程,从偏好数据到可复用训练管线
人工智能
Elastic 中国社区官方博客1 小时前
使用 LangExtract 和 Elasticsearch
大数据·人工智能·elasticsearch·搜索引擎·ai·信息可视化·全文检索