Post-train 入门(1):SFT / DPO / Online RL 概念理解和分类

Post-train 的分类

  1. SFT
  2. DPO
  3. online RL

以下是后训练(Post-train)中三种主流方法的对比表格,涵盖核心定义、优化目标、数据需求、优缺点及典型应用场景:

分类 核心定义 优化目标 数据需求 优点 缺点 典型应用场景
SFT(监督微调) 在预训练模型基础上,使用人工标注的高质量指令-响应对数据进行微调,让模型学习特定任务的输出格式和知识。 最小化模型输出与标注数据的交叉熵损失,使模型生成符合人类预期的"标准答案"。 依赖高质量的人工标注数据(如指令-响应对),数据规模通常较小(数万至数十万样本)。 1. 训练简单稳定,易实现; 2. 能快速对齐基础任务格式; 3. 对计算资源要求较低。 1. 难以捕捉复杂的人类偏好(如安全性、相关性); 2. 泛化能力有限,对未见过的指令可能生成错误结果。 基础对话系统、特定任务指令对齐(如翻译、摘要)、模型快速适配新领域。
DPO(直接偏好优化) 跳过显式奖励模型训练,直接通过人类偏好数据(如"更好/更差"的样本对)优化策略,将偏好建模嵌入模型损失函数。 最大化模型生成"偏好样本"的概率,同时通过KL约束保持与参考模型(如SFT模型)的分布接近。 需要人类标注的偏好对数据(如(x,y好,y差)(x, y_{\text{好}}, y_{\text{差}})(x,y好,y差)),数据规模中等。 1. 省去奖励模型训练,简化流程; 2. 训练稳定性优于传统RLHF; 3. 对域内任务拟合效果好。 1. 依赖高质量偏好标注,标注成本高; 2. 域外泛化能力较弱; 3. 难以处理复杂奖励信号。 对齐人类偏好的对话模型(如ChatGPT后期优化)、内容生成质量提升(如文本、图像)。
Online RL(在线强化学习) 模型在与环境交互中实时生成样本,基于实时反馈(奖励)动态更新策略,无需依赖预收集的静态数据集。 最大化累积奖励,通过探索不同生成路径找到最优策略,同时平衡"探索"与"利用"。 无需预收集数据,依赖实时奖励信号(可来自benchmark、人类反馈或其他评估器)。 1. 能适应动态环境和复杂奖励; 2. 域外泛化能力强; 3. 可持续优化策略。 1. 训练复杂,需设计高效探索机制; 2. 计算成本高(实时生成与反馈); 3. 可能存在奖励黑客风险。 动态任务优化(如文本到图像生成的细节控制)、需要推理能力的任务(如数学解题、代码生成)。

关键区别总结:

  • 数据依赖 :SFT和DPO依赖静态标注数据 ,Online RL依赖实时反馈
  • 优化粒度:SFT关注"正确输出",DPO关注"相对偏好",Online RL关注"全局最优策略";
  • 适用阶段 :SFT通常作为后训练的基础步骤,DPO和Online RL用于进一步优化偏好对齐和复杂任务能力

Alignment in Diffusion 的分类

相关推荐
cver1238 分钟前
塑料可回收物检测数据集-10,000 张图片 智能垃圾分类系统 环保回收自动化 智慧城市环卫管理 企业环保合规检测 教育环保宣传 供应链包装优化
人工智能·安全·计算机视觉·目标跟踪·分类·自动化·智慧城市
jz_ddk14 分钟前
[科普] AI加速器架构全景图:从GPU到光计算的算力革命
人工智能·学习·算法·架构
idaretobe21 分钟前
宝龙地产债务化解解决方案二:基于资产代币化与轻资产转型的战略重构
人工智能·web3·去中心化·区块链·智能合约·信任链
摆烂工程师28 分钟前
教你如何从GPT-5 切换到 GPT-4o。Plus 用户切换 GPT-4o 旧模型的入口在哪里?
人工智能·chatgpt·程序员
Lee_Serena38 分钟前
bert学习
人工智能·深度学习·自然语言处理·bert·transformer
仪器科学与传感技术博士1 小时前
Matplotlib库:Python数据可视化的基石,发现它的美
开发语言·人工智能·python·算法·信息可视化·matplotlib·图表可视化
小王爱学人工智能1 小时前
svm的一些应用
人工智能·机器学习·支持向量机
极限实验室1 小时前
喜报!极限科技 Coco AI 荣获 2025 首届人工智能应用创新大赛全国一等奖
人工智能
啾啾Fun1 小时前
PyTorch 核心三件套:Tensor、Module、Autograd
人工智能·pytorch·python
双向331 小时前
医疗健康Agent:诊断辅助与患者管理的AI解决方案
人工智能