SuperHF: Supervised Iterative Learning from Human Feedback

本文是LLM系列文章,针对《SuperHF: Supervised Iterative Learning from Human Feedback》的翻译。

SuperHF:从人的反馈中监督迭代学习

  • 摘要
  • [1 引言](#1 引言)
  • [2 相关工作](#2 相关工作)
  • [3 背景](#3 背景)
  • [4 方法](#4 方法)
  • [5 实验](#5 实验)
  • [6 讨论与未来工作](#6 讨论与未来工作)
  • [7 结论](#7 结论)

摘要

人工智能领域越来越关注大规模语言模型,这些模型虽然表现出非凡的能力,但在安全性、与人类价值观的一致性以及训练过程中的稳定性方面往往存在挑战。在这里,我们重点介绍了两种常用的方法,即监督微调(SFT)和来自人类反馈的强化学习(RLHF)。SFT简单而稳健,为许多开源模型提供了动力,而RLHF是一种更复杂的方法,用于ChatGPT等顶级模型,但也存在不稳定性和易受奖励黑客攻击的问题。我们提出了一种新的方法,即从人类反馈中监督迭代学习(SuperHF),它试图利用这两种方法的优势。我们的假设有两个方面:我们假设RLHF中使用的奖励模型对于有效的数据使用和模型泛化至关重要,并且RLHF中可能没有必要使用近端策略优化(PPO),这可能会导致不稳定问题。SuperHF用简单的监督损失和Kullback-Leibler(KL)发散先验代替了PPO。它通过在在线学习机制中重复采样一批模型输出并通过奖励模型进行过滤来创建自己的训练数据。然后,我们将奖励优化问题分解为三个部分:稳健地优化训练奖励本身,防止奖励黑客攻击------或利用一种新的METEOR相似性度量来衡量可能降低模型性能的奖励模型,以及在下游评估中保持良好的性能。我们的实验结果表明,SuperHF在训练目标上超过了基于PPO的RLHF,轻松而有利地权衡了高回报和低回报的黑客攻击,改进了下游校准,并在我们基于GPT-4的定性评估方案上执行了相同的操作,同时实现起来明显更简单,突出了SuperHF作为一种具有竞争力的语言模型对齐技术的潜力。

1 引言

2 相关工作

3 背景

4 方法

5 实验

6 讨论与未来工作

7 结论

我们提出了一种从人类反馈中监督迭代学习(SuperHF),这是一种从标量人类反馈奖励信号中使基础模型与人类偏好相一致的新方法,它是基于近端策略优化(PPO)的人类反馈强化学习(RLHF)的替代方法。通过将人类反馈微调问题重新定义为贝叶斯推理,我们导出了SuperHF损失,这是一种简单的监督损失,包含了关键的KL发散先验。我们的实验表明,SuperHF有效地优化了问答的奖励模型分数,在使用KL分歧惩罚和从指令调整的基础模型开始时,在高奖励和低奖励游戏之间取得了良好的平衡,并将与RLHF一样好或更好的推广到GPT-4的下游任务和主观偏好评估中。

考虑到我们工作的更广泛影响,SuperHF简化了根据人类反馈进行的语言模型微调,使过程民主化,并提高了该领域的可访问性。重要的是要认识到这类工作中滥用增加的可能性------当前的语言模型对齐侧重于与任何偏好对齐的技术挑战,因此参与者既有将开放语言模型微调为不期望的偏好的风险,也有简单地使用指令遵循模型更容易输出有害或危险的响应的风险。但是,随着RLHF越来越广泛,越来越多的开源实现出现在网上,有必要对该方法进行批判性评估,发布更简单但希望更安全的方法成为一种越来越好的权衡(附录D中的X风险表中描述了其他考虑因素。总体而言,我们设想SuperHF和类似的研究方向最终有助于开发广泛的语言模型对齐工具,通过仔细的治理和稳健的评估,可以训练和部署未来的基础模型,使其更安全地与社会价值观对齐并保护社会价值观。

相关推荐
Gyoku Mint6 分钟前
深度学习×第4卷:Pytorch实战——她第一次用张量去拟合你的轨迹
人工智能·pytorch·python·深度学习·神经网络·算法·聚类
zzywxc7879 分钟前
AI大模型的技术演进、流程重构、行业影响三个维度的系统性分析
人工智能·重构
点控云9 分钟前
智能私域运营中枢:从客户视角看 SCRM 的体验革新与价值重构
大数据·人工智能·科技·重构·外呼系统·呼叫中心
zhaoyi_he17 分钟前
多模态大模型的技术应用与未来展望:重构AI交互范式的新引擎
人工智能·重构
葫三生1 小时前
如何评价《论三生原理》在科技界的地位?
人工智能·算法·机器学习·数学建模·量子计算
m0_751336392 小时前
突破性进展:超短等离子体脉冲实现单电子量子干涉,为飞行量子比特奠定基础
人工智能·深度学习·量子计算·材料科学·光子器件·光子学·无线电电子
美狐美颜sdk5 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程6 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
郭庆汝6 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
小雷FansUnion8 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp