强化学习对齐 - 强化学习对齐技术,学习,经验文章

thesky123456

34 分钟前

27届大模型面试准备（七十三）：大模型强化学习对齐工程实战——RLHF、PPO 与 GRPO 的训练流水线引言前面把后训练（A16）、对齐税（A48）、多模态训练（A40）、工具调用训练（A42）都铺开了。本篇把"对齐"里最硬核、也是面试官最爱追问的一段单独拎出来讲透：基于强化学习的对齐训练。它和上一篇高频八股（A52）、指令遵循（A48）是一条线，但更偏工程实现——奖励模型怎么训、PPO 为什么要有 critic、GRPO 怎么把 critic 省掉、DPO 又怎么绕过奖励模型直接做偏好。