强化学习与大模型对齐_学习笔记

JAVA_AI人工智能项目实战2026-10-21 9:48

强化学习与大模型对齐 · 学习笔记

学习地图

整份材料用一条线索 贯穿：设计好的奖励信号 → 最大化长期回报 → 智能从奖励中涌现。

复制代码 
AlphaGo(游戏RL,客观奖励) → ChatGPT(对话RLHF,主观奖励) → DeepSeek-R1(推理GRPO,可验证奖励)

五个部分依次展开：RL 入门（以围棋为锚）→ 大模型对齐问题（预训练鸿沟）→ RLHF 全流程（SFT/RM/PPO/DPO/RLAIF）→ DeepSeek-R1（GRPO 简化 PPO）→ 前沿展望（Superalignment）。核心洞察：对齐好的小模型可以超越未对齐的大模型（1.3B InstructGPT 胜过 175B GPT-3）。

第一部分 · 强化学习入门

1. AlphaGo 的震撼时刻

2016.03 AlphaGo vs 李世石 4:1 胜出，第 37 手"神之一手"震惊围棋界。

2017.05 AlphaGo Master vs 柯洁 3:0 完胜，随后宣布退役。

围棋为何如此困难：

  • 状态空间：约 10^170，远超宇宙原子数
  • 分支因子：每步平均约 250 种合法走法
  • 奖励稀疏：只有最终胜负才有信号

AlphaGo 的三个秘密：

  1. 策略网络：学习"下一手应该走哪"（监督学习 + RL）
  2. 价值网络：估计当前局面的胜率
  3. 蒙特卡洛树搜索（MCTS）：前瞻搜索，两个网络引导剪枝

核心：强化学习让 AlphaGo 通过自我对弈不断提升。

2. 强化学习基本框架（以围棋为例）

智能体与环境的交互：

概念 围棋中的含义 作用
Agent 智能体 棋手模型 做出决策
Environment 环境 棋盘 + 对手 接受动作并返回状态与奖励
State 状态 当前棋局（19×19 矩阵） 智能体观察到的世界快照
Action 动作 选择 361 个位置之一落子 影响环境的操作
Reward 奖励 赢棋 +1 / 输棋 -1（稀疏） 学习信号
Policy 策略 π(a|s)：局面→落子概率 智能体的行为规则
Episode 回合 一局完整对弈（约 200 步） 一次完整交互

3. 价值函数：V(s) 与 Q(s,a)

价值函数回答两个问题：这个局面整体有多好？具体这步棋有多好？

  • 状态价值函数 V(s) ：在局面 s 下按当前策略继续走下去的期望总回报
    • 围棋：V(当前棋局) = 从此刻起的期望胜率 ≈ 0.55
  • 动作价值函数 Q(s,a) ：在局面 s 下选定动作 a 后再按策略走下去的期望总回报
    • 围棋：Q(当前棋局, 天元) = 走了这步后的期望胜率 ≈ 0.62

二者的关系（Bellman 方程，互相定义）：

复制代码 
Q(s, a) = r + γ · V(s′)              # 即时奖励 + 下一局面的价值
V(s)    = Σ_a π(a|s) · Q(s, a)       # 所有走法的 Q 值按策略概率加权平均

数值示例（某中盘局面三个候选走法）：走天元 Q=0.62 / 走小目 Q=0.55 / 走边路 Q=0.41。V(s)=0.55 是三种走法按策略概率加权后的"平均水平"。

看单步好坏用 Q，看整体局势用 V。

4. 优势函数与策略梯度

优势函数 A(s,a)：比平均好多少

复制代码 
A(s, a) = Q(s, a) − V(s)
  • A > 0：这步棋比局面平均水平好 → 应该被强化
  • A < 0：这步棋比平均水平差 → 应该被抑制

为什么要减掉基线 V(s) ：没有基线时赢棋 +1，该局所有走法（包括臭棋）都被强化；有了基线后只有超出平均水平的走法被强化------梯度方差大幅降低，训练更稳定。

策略梯度定理：

复制代码 
∇J(θ) = E[ A(s,a) · ∇ log π(a|s) ]
  • A > 0 的动作：增大 π(a|s)，下次更可能选它
  • A < 0 的动作：减小 π(a|s)，下次少选它
  • 不维护 Q 表，直接用梯度上升优化策略网络参数 θ

神经网络时代的 RL 主流范式：策略网络 + 价值网络。直接按策略梯度更新存在隐患（步子太大策略崩溃），PPO 用 Clip 机制限制更新幅度（见第三部分）。

5. 探索与利用的两难

Exploration vs. Exploitation：强化学习最核心的矛盾。

只「利用」Exploitation 只「探索」Exploration
做法 总走已知最优定式 随机尝试各种走法
问题 陷入局部最优，遭遇克制套路崩溃 无法从历史学习，永远"乱走"
结果 被破解后一败涂地 永远赢不了

AlphaGo 的平衡方案：MCTS 用策略网络引导，在确定性和随机性之间动态平衡。

日常类比：餐厅选择（老店 vs 新馆子）、投资组合（熟悉 vs 新标的）、备考策略（熟悉题型 vs 新题型）。

6. AlphaGo → AlphaZero：纯自我博弈

版本 年份 关键
AlphaGo Fan 2015 监督学习棋谱 + RL 自弈，击败欧洲冠军樊麾
AlphaGo Lee 2016 更多 RL 训练，4:1 击败李世石
AlphaGo Master 2017 深度改进，60:0 横扫在线顶尖职业棋手
AlphaZero 2017 零人类数据，纯自弈，36h 超越 AlphaGo

AlphaZero 的突破：

  1. 零人类数据：不依赖人类棋谱，随机初始化开始自我对弈
  2. 策略+价值共享：一个网络同时输出策略 π 和价值 V，共享底层特征
  3. 自发战略发现：发展出人类从未用过的新布局和新定式

关键启示 ：不依赖人类先验知识，RL 可以自主探索出更优的策略------这一思想后来影响了 DeepSeek-R1 的训练哲学（见第四部分）。

第二部分 · 从游戏到语言：大模型的对齐问题

7. 强化学习框架在语言模型中的对应

围棋和语言生成，共享同一套 RL 框架：

RL 概念 围棋（AlphaGo） 语言模型（LLM）
Agent 智能体 棋手决策模型 大语言模型
Environment 环境 棋盘 + 对手 用户 + 对话上下文
Action 动作 选择落子位置（361 选一） 生成下一个 token
State 状态 当前棋局（19×19） 当前 Prompt + 上文
Policy 策略 π(a|s)：局面→落子概率 下一个 token 的概率分布
Reward 奖励 赢棋 +1 / 输棋 -1 人类/AI 对完整回复的评分
Episode 回合 一局完整对弈 一次完整对话生成

关键差异：围棋奖励清晰（赢/输），语言模型的"好回答"难以量化------这是大模型对齐的核心挑战。

8. 预训练的目标 vs 对齐的需求

统计语言能力 ≠ 价值观对齐

预训练（Next Token Prediction） 对齐（Aligned LLM）
目标 最大化下一个 token 预测准确率 Helpful + Harmless + Honest
数据 互联网海量文本（含有害内容） 遵从指令、符合价值观
能力 流畅写作、知识问答、代码生成 真正理解用户意图、拒绝有害请求
缺陷 有什么说什么，不考虑影响 ---

核心鸿沟：预训练让模型"会说话"，但不能保证它说的是有帮助、无害、诚实的话。

9. 奖励信号的设计难题

什么是语言模型的"好回答"？------比围棋难得多。

围棋：奖励清晰 语言模型：奖励模糊
客观性 胜=+1，负=-1，由规则决定，完全客观 "有帮助"因人而异，"无害"随文化变化
一致性 任何回合任何棋手结果相同 一个回答可以同时优秀又危险
成本 无需人工判断，自动计算 人工评分慢且成本高，难规模化

思路转变 ：与其定义复杂规则，不如收集人类偏好数据，训练一个能替代人工打分的奖励模型。

奖励设计的三个难题：

  1. 主观性：不同人对相同回答评分不一
  2. 规模化：人工标注跟不上模型训练速度
  3. 覆盖度：规则无法涵盖所有场景和语境

第三部分 · RLHF 全流程：从人类反馈到 ChatGPT

10. RLHF 三阶段总览

Reinforcement Learning from Human Feedback --- 三步炼成对齐模型：

复制代码 
预训练 LLM → [SFT 数据] → SFT 模型 → [偏好对] → 奖励模型 RM → [RL 训练] → 对齐 LLM
阶段 做什么 输出
1. 监督微调 SFT 人工撰写高质量示范回复，交叉熵损失训练 SFT 模型
2. 奖励模型 RM 收集 (prompt, A, B) 偏好对，训练打分器 奖励模型 RM
3. PPO 策略优化 RM 评分作为奖励，PPO 优化 LLM 策略，KL 惩罚防过度偏移 对齐的 LLM

11. 阶段一：监督微调（SFT）

SFT 数据格式（prompt-response 对）：

json 复制代码 
{
  "prompt": "用简单语言解释量子纠缠",
  "response": "想象两个硬币同时抛出，不管距离多远..."
}

真实数据规模：

  • InstructGPT：~13,000 条（人工撰写）
  • Alpaca：~52,000 条（GPT-4 生成）
  • OpenHermes：~900,000 条（多模型合成）

SFT 的局限性 ：数据需要人工撰写，质量高但数量有限；更重要的是，它无法直接教会模型什么是"更好"，只能教它"怎么说"。

12. 阶段二：偏好数据收集

用相对比较替代绝对打分------更稳定的人类偏好信号。

数据格式：给定 prompt，生成回答 A 和 B，标注员选择更好的一个，记录偏好对 (prompt, y_w, y_l)。

数据量：InstructGPT 约 33,000 条偏好对，由 40 名专业标注员完成。

为什么用相对比较而非绝对打分：

  1. 标注一致性更高：比较两个回答比绝对打分一致性显著更高
  2. 避免量表偏差：消除标注员个体打分习惯差异
  3. 捕捉细微差异：两个都值 8 分的回答，B 明显更准确时相对比较能捕捉

13. 阶段二：奖励模型（RM）训练

架构：Prompt + 回答 → LLM Backbone（共享权重）→ Linear Head（打分层）→ 标量奖励分数 r。

RM 本质：微调版 LLM，但不再生成文字，而是输出一个数字来评价回答质量。

训练目标（Bradley-Terry 模型）：

复制代码 
loss = -log σ(r_w - r_l)
# r_w = 被选中回答的分数，r_l = 被拒绝回答的分数

直觉理解：让被偏好的回答(r_w)得分高于被拒绝的(r_l)；差距越大→越自信→损失越低；用 σ（sigmoid）将差值压缩到 0~1；不需要绝对分数，只需要相对大小。

⚠️ 注意：RM 只是人类偏好的近似代理------可能被 Hack（模型学会堆砌讨喜的废话来拿高分）。

14. 阶段三：PPO 训练的四模型架构

训练时需同时加载 4 个模型：2 个参与训练，2 个保持冻结。

模型 角色 状态
Actor 策略网络（LLM） 训练中
Critic 估计 V(s)→优势 A 训练中
Reward Model 对完整回答打分，输出分数 r 冻结
Reference Model SFT 副本，计算 KL(Actor‖Ref) 冻结

奖励计算 ：reward = r − β·KL

工程代价：4 个大模型同时驻留显存（2 训练 + 2 冻结），Critic 与 Actor 同量级------这正是第四部分 GRPO 要简化的动机。

15. PPO 核心机制：Clip 目标函数

为什么需要 PPO：直接按策略梯度更新，步子太大 → 策略崩溃且无法回头。PPO 的做法：给每次更新装上刹车（Clip）。

复制代码 
L_CLIP = E[ min( r(θ)·A,  clip(r(θ), 1-ε, 1+ε)·A ) ]
组件 含义
重要性采样比 r(θ) r = π_new(a|s) / π_old(a|s)，新策略与旧策略选同一动作的概率比值
优势函数 A A = Q(s,a) − V(s)，由 Critic 网络估计
Clip 截断 clip(r, 1-ε, 1+ε)，ε=0.2，超出 0.8, 1.2 时停止梯度继续推动偏离

Clip 的核心：策略变化超出阈值 ε 后梯度被截断------好动作最多放大到 1+ε 倍概率，坏动作最多压缩到 1-ε 倍。好比限速装置：超过阈值就不再加速。

16. InstructGPT：RLHF 的第一个里程碑

关键发现 ：1.3B InstructGPT 在人类偏好评分上大幅优于 175B GPT-3。

训练数据与配置：

  • SFT 数据：~13,000 条人工示范
  • RM 偏好对：~33,000 条标注对
  • 标注员：40 名专职标注员
  • 基础模型：GPT-3（1.3B/6B/175B）
  • 流程：SFT → RM → PPO

对齐带来的改进：

  • 有害内容生成率：明显有害回答大幅减少（−25%）
  • TruthfulQA 真实性：诚实性显著提升（+22%）
  • 指令遵从：回答更聚焦用户真实意图

InstructGPT（2022.03）是 ChatGPT（2022.11）的直接前身：同一套 RLHF 流程，更大的数据与模型规模------方向比力气更重要。

17. 对齐税（Alignment Tax）

RLHF 并非没有代价------某些能力会在对齐过程中轻微退化。

典型表现：

能力 表现 退化程度
数学推理 CoT 推理步骤缩短，轻微准确率下降 低
代码生成 偶尔添加过多注释或警告，代码略冗余 低
知识密度 回答变得更谨慎，有时添加不必要的免责声明 中
语言流畅性 有时回答格式化过度，自然度下降 低

根本原因：PPO 优化 RM 分数与预训练目标存在张力------RM 偏爱"听起来负责任"而非真正准确的回答。

缓解策略：

  • PPO 中混入预训练数据（保留基础能力）
  • 设计多维度奖励：有用性 + 安全性并重
  • 针对能力退化的 Benchmark 做专项 SFT
  • 控制 KL 约束强度，不过度限制模型

对齐税是可接受的代价：总体而言，RLHF 后的模型对用户更有用，即使某些 Benchmark 分数略降。

18. DPO：绕过 RL，直接在偏好数据上微调

动机：PPO 太复杂（4 模型 + RL 循环）------能否把 RM + RL 合成一个监督学习目标？

RLHF/PPO（三阶段） DPO（两步完成）
流程 偏好数据→训练 RM→PPO 优化 偏好数据→直接在偏好数据上微调 LLM
模型数 4 个 + KL 约束 2 个（策略 + 参考）
稳定性 训练不稳定，调参复杂 实现简单，训练稳定

DPO Loss：

复制代码 
L_DPO = -E [ log σ( β·log(π_θ(y_w)/π_ref(y_w)) - β·log(π_θ(y_l)/π_ref(y_l)) ) ]

直觉：直接拉大模型对 y_w（好回答）与 y_l（坏回答）的相对概率差------奖励模型被隐式消解在损失函数里，无需单独训练。

19. DPO vs PPO：权衡与适用场景

DPO 是简化，但并非在所有情况下都优于 PPO。

对比维度 PPO DPO
实现复杂度 高（4 模型 + RL 训练循环） 低（纯监督学习）
训练稳定性 需精细调参，易不稳定 稳定，类似 SFT
表达能力 强（可在线探索） 弱（受限于离线数据）
适用奖励类型 通用（RM 可自定义） 仅适合偏好对数据
在线 vs 离线 在线（策略持续采样） 离线（固定偏好数据集）
实际效果 通常更好（尤其复杂任务） 简单对齐任务接近 PPO
代表产品 ChatGPT, InstructGPT Zephyr, Llama-3 等

实践建议：资源有限/快速迭代选 DPO；追求最高对齐质量、需要在线探索选 PPO；两者都用 TRL 库几行代码即可切换。

20. 从人工打分到 AI 打分：RLAIF

人工标注的瓶颈：慢、贵、一致性有限（标注员间一致率通常仅 60~75%）------能不能让 AI 来打分？

RLHF：人工比较 RLAIF：AI 裁判比较
裁判 人工标注员 AI 裁判（强大 LLM）
后续 训练 RM → PPO 优化 训练 RM → PPO 优化（流程不变）

Anthropic 2023 结论 ：RLAIF 在有帮助性任务上效果与 RLHF 相当，成本仅 1/10 ~ 1/100。

Constitutional AI ：用公开的"宪法"原则让 AI 自我批评修订 + AI 打分------Claude 即用此法训练，原则透明可审计。

21. RLHF 全链路小结

阶段 做了什么 为什么
1. SFT 人工示范数据微调 LLM 建立遵从指令的基础策略
2. RM 偏好对训练奖励模型打分器 将人类偏好转为可优化信号
3. PPO RM 分数 + KL 约束优化策略 模型输出对齐人类偏好

两条简化路线：

  • DPO：去掉 RL，RM+PPO 合并为一个监督学习目标，直接在偏好数据上微调；简单稳定，但只能离线学习
  • RLAIF：去掉人工，用强大 LLM 替代人工比较 A/B；流程不变、成本骤降；Constitutional AI 让打分原则公开可审计

进一步追问：能不能连奖励模型也去掉？→ 第四部分 GRPO：用可验证奖励训练推理（DeepSeek-R1）。

第四部分 · DeepSeek-R1：RL 重新定义推理

22. PPO 的工程痛点：4 模型太重了

RLHF-PPO 在大模型上的工程代价极高，限制了可扩展性。

痛点 说明
4 份显存 Actor + Critic + RM + Reference 同时驻留，显存压力巨大
Critic 同量级 价值网络与 Actor 参数量相同，70B 模型训练需要 280B+ 参数的显存
Critic 训练不稳定 价值估计偏差会累积并传播到策略梯度，导致训练振荡，需要额外预热阶段
工程复杂度高 4 模型需精细同步和调度，每个模型的学习率、更新频率都需单独调参

核心问题：能不能去掉 Critic，同时保持训练稳定？ → GRPO 给出了答案。

23. GRPO：组相对策略优化

直觉：同一道题采样 8 个答案，比平均分高的就是好答案（强化），低于平均分的（抑制）。

算法：同一 Prompt 采样 G 条回答，对每条回答用奖励函数打分 r_i，然后：

复制代码 
A_i = (r_i - mean(r)) / std(r)     # z-score 归一化
  • mean®：组内平均奖励（替代 Critic 的 Baseline）
  • std®：分母归一化，使梯度尺度稳定
  • A_i > 0：该答案优于组内均值 → 强化
  • A_i < 0：该答案劣于组内均值 → 抑制

无需 Critic，3 个模型即可完成训练（Actor + RM + Reference）。

24. TRL 框架实践：GRPO 训练数学推理模型

用 HuggingFace TRL 库，十几行代码启动 GRPO 训练。

训练数据格式（GSM8K 数学题）：

json 复制代码 
[{"prompt": "小明有 5 个苹果，吃了 2 个，还剩几个？", "solution": "3"}, ...]

奖励函数（验证答案 + 检查格式）：

python 复制代码 
def reward_fn(output, answer):
    has_think = "<think>" in output
    pred = extract_answer(output)
    correct = (pred == answer)
    return 0.3*has_think + correct

GRPOTrainer 核心配置：

python 复制代码 
from trl import GRPOTrainer, GRPOConfig
config = GRPOConfig(
    model_name="Qwen/Qwen2.5-1.5B",
    num_generations=8,       # G=8
    max_new_tokens=512,
    learning_rate=1e-5,
    kl_coef=0.04,
)
trainer = GRPOTrainer(config=config, model=model,
                      reward_funcs=[reward_fn], train_dataset=dataset)
trainer.train()

25. GRPO 的奖励类型设计

奖励信号的质量决定 GRPO 能否训练成功。

适合 GRPO 的奖励类型：

类型 说明 例
答案正确性（Outcome Reward） "答案是否等于标准答案？" 1/0 二值 GSM8K、MATH
代码可执行性 运行后能否通过所有测试用例 HumanEval、LeetCode
格式遵从奖励 是否包含 <think>...</think> 推理块 DeepSeek-R1 训练

不适合 GRPO 的场景：

场景 原因 替代方案
开放式对话 "哪个回答更有帮助"无法自动评分 PPO/RLHF
创意写作 故事质量、情感表达主观性强 RLAIF 或人工评分
多轮对话 奖励稀疏，归因困难 PRM（过程奖励）

DeepSeek-R1 的关键选择 ：数学/代码题目有客观答案------可验证奖励让 GRPO 训练稳定高效。

26. DeepSeek-R1-Zero：意外的 Aha Moment

纯 RL，不用 SFT 热启动------模型自发学会了反思。

R1-Zero 实验设定：

  • 基础模型：DeepSeek-V3-Base（未经 SFT）
  • 训练算法：GRPO（可验证奖励）
  • 奖励类型：数学/代码题答案正确性 + 格式
  • 无需：人工标注的推理示范数据（SFT 数据）

Aha Moment：自发的反思行为

复制代码 
问：1+1+...（共21个1）= ?
模型输出：
<think>
  让我数一数...有21个1
  等等，让我重新数一遍。
  1×21=21，对，是21。
</think>
答案：21

⚠️ 上例为课件简化的示意示例，非 DeepSeek-R1 论文原文。论文中 Aha Moment 出现在更复杂的推理题上，模型自发说出 "Wait, wait. Wait. That's an aha moment I have."。详见修正记录。

关键发现 ：没有人教模型怎么反思------但在纯 RL 训练过程中，模型自发产生了「等等，让我重新想想」的反思行为，推理链长度随训练进行自然增长。

局限 ：输出有时语言混用（中英混杂），可读性差。

价值 ：证明 RL 可以自发产生推理能力，无需大量人工示范。

27. 为什么选择纯 RL 而非 SFT 热启动？

SFT 数据虽然有用，但可能限制模型发现更优推理策略。

传统 SFT-first R1-Zero 纯 RL
做法 用人类推理示范做 SFT，再 RL 微调 只告诉模型答案对不对（可验证奖励）
问题 被人类示范"锚定"，难发现更短更优解法 ---
优势 --- 不被人类推理风格约束，自发发现高效思维链
类比 --- AlphaZero：自己发现人类从未想到的走法

AlphaZero 不依赖人类棋谱，通过自我对弈发现了人类从未使用过的走法，最终远超人类水平。DeepSeek 将同样的思路用于语言模型推理------让 RL 自由探索，而不是让 SFT 数据限制搜索空间。

28. DeepSeek-R1 完整训练工作流

R1-Zero 打地基，SFT 提可读性，GRPO 提推理深度------循环迭代。

步骤 做什么 输出
1. R1-Zero 纯 RL DeepSeek-V3-Base + GRPO（可验证奖励） 推理能力但可读性差
2. 构建 SFT 数据 收集 R1-Zero 生成的优质 CoT + 人工筛选 → 60 万条 高质量可读 SFT 数据集
3. SFT 冷启动 + GRPO 用 SFT 数据微调 Base → 再做 GRPO 训练（R1 正式版） 推理能力 + 可读性并存
4. 拒绝采样 + 混合 SFT 用 R1 对各类问题采样保留最优解 + 混合通用数据 → 继续 SFT DeepSeek-R1 最终模型

设计理念：SFT 提供可读性和语言流畅度，GRPO 提供推理深度和自由探索空间。通过 R1-Zero → SFT 数据 → GRPO 的循环，模型同时具备人类可理解的输出格式和超越人类的推理能力。

29. PPO vs GRPO：全面对比

对比维度 PPO（ChatGPT/InstructGPT） GRPO（DeepSeek-R1）
价值网络 Critic 需要（与 Actor 同等大小） 不需要（节省 25% 显存）
模型总数量 4 个（Actor/Critic/RM/Ref） 3 个（Actor/RM/Reference）
Advantage 计算 时序差分估计（TD-error） 组内平均奖励归一化
奖励信号来源 奖励模型 RM（通用） 可验证奖励为主
最适合任务 通用对话对齐（HHH） 数学/代码等推理任务
训练稳定性 需要 Critic 预训练 组内归一化自动稳定
显存占用 高（需 Critic 额外显存） 较低（无 Critic）
代表模型 ChatGPT / InstructGPT DeepSeek-R1 / -R1-Zero

30. 从 PPO 到 GRPO 的进化小结

创新点 说明
GRPO 核心创新 用组内归一化奖励替代 Critic，无需单独训练价值网络，3 个模型完成 RLHF
R1-Zero 启示 纯 RL 训练可自发产生推理能力（Aha Moment），不依赖人类推理示范。验证了 AlphaZero 理念在语言模型上的可行性
R1 完整工作流 先 RL 探索（R1-Zero）收集优质 CoT 数据，再 SFT 固化可读性，最后 GRPO 迭代提升------RL 和 SFT 相辅相成
可验证奖励是关键 数学/代码题的客观答案是 GRPO 成功的基础。开放域对话仍需要 RM，GRPO 不是 PPO 的完全替代

第五部分 · 前沿方向与展望

31. RLHF/RLAIF 的成就与未解难题

对齐技术已走过重要里程碑，但根本难题尚未解决。

已大幅改善 仍是难题
✓ 基础指令跟随（GPT-4/Claude 可靠完成常见任务） 深层幻觉（自信捏造不存在的事实）
✓ 明显有害内容（暴力、违法拒绝率显著提升） 深层价值观对齐（文化差异、道德困境）
✓ 对话流畅性（上下文理解、格式控制、语气适应） 对齐税未根除（安全与性能的张力）
✓ 推理能力局部（数学、代码，R1 等大幅提升） 鲁棒性（对抗性 Prompt 仍可绕过保护）

现实：当前最好的 LLM 在对齐上处于"大幅改善但远未完美"的阶段------这也是 Superalignment 问题的起点。

32. Superalignment：对齐超级智能的挑战

核心问题：当 AI 超越人类，人类如何验证它是否真的对齐？

困境：现有对齐方法依赖人类评判。当 AI 能力远超人类时，人类将无法正确判断 AI 的回答是否真的安全------就像学生无法批改自己不懂的教授的试卷。

三个研究方向：

方向 思路 进展
可扩展监督（Scalable Oversight） 用弱 AI 辅助人类理解强 AI 的行为，将复杂问题拆解为人类可验证的子问题 OpenAI 正在研究
弱对强泛化（Weak-to-Strong） 用弱 AI 的偏好标注训练更强 AI，观察是否能泛化对齐 OpenAI 2023 实验：弱 GPT-2 监督 GPT-4 仍能恢复大部分对齐效果
可解释性研究（Interpretability） 理解神经网络内部如何表示概念、如何做决策，直接检查 AI 是否学到了我们想要的价值观 活跃研究领域

Superalignment 是下一个十年 AI 安全领域最重要的开放问题之一。

33. AlphaGo → ChatGPT → DeepSeek：RL 的一条线索

从围棋到对话到推理------同一套 RL 哲学贯穿始终。

里程碑 时间 奖励 技术 启示
AlphaGo/Zero 2016-17 胜+1/负-1（客观） 自我博弈 + MCTS + 策略/价值网络 不依赖人类知识，RL 可自主发现最优策略
InstructGPT/ChatGPT 2022 人类偏好打分（主观） SFT + 奖励模型 + PPO 四模型架构 1.3B 对齐模型胜过 175B 预训练模型
DeepSeek-R1 2025 答案正确性+格式（可验证） R1-Zero + CoT 数据 + GRPO 无 Critic 纯 RL 涌现推理能力，媲美 o1

共同逻辑：设计好的奖励信号 → 最大化长期回报 → 智能从奖励中涌现。

实践清单

RLHF/GRPO 选型决策表

场景 推荐方法 原因
通用对话对齐（HHH） PPO 在线探索，RM 可自定义
资源有限/快速迭代 DPO 纯监督学习，2 模型，稳定
数学/代码推理 GRPO 可验证奖励，无 Critic，3 模型
降低标注成本 RLAIF AI 裁判替代人工，成本 1/10~1/100
开放域创意写作 RLAIF 或人工 主观性强，无法自动评分
多轮对话 PRM（过程奖励） 奖励稀疏，需归因到具体轮次

关键数字速查

数字 含义
10^170 围棋状态空间
250 围棋每步平均分支因子
13,000 InstructGPT SFT 数据条数
33,000 InstructGPT RM 偏好对条数
40 InstructGPT 专职标注员人数
60~75% 人工标注员间一致率
4 / 3 PPO / GRPO 模型数量
25% GRPO 相对 PPO 节省显存
0.2 PPO Clip 的 ε 常用值
60 万 DeepSeek-R1 SFT 数据条数

常见误区速查表

误区 正确理解
GRPO 完全替代 PPO GRPO 适合可验证奖励（数学/代码），开放域对话仍需 PPO+RM
DPO 总是优于 PPO DPO 简单稳定但只能离线，复杂任务 PPO 通常更好
SFT 数据越多越好 R1-Zero 证明纯 RL 可涌现推理，SFT 可能"锚定"限制探索
RM 是真实奖励 RM 只是人类偏好的近似代理，可能被 Hack
对齐后能力不退化 存在"对齐税"，数学/代码/流畅性可能轻微下降
人类能评判超级 AI Superalignment 困境：AI 超越人类后人类无法验证

附录 · 修正记录

本份课件内容整体准确，核查后发现的问题较少，多为示意值标注。

C 类 · 概念/方法（示意值标注）

C1. R1-Zero Aha Moment 示例（slide 31）

  • 原文：以 "1+1+...（共21个1）= ?" 作为 R1-Zero 涌现推理模式的示例。
  • 问题 ：此为课件自造的简化示意示例，非 DeepSeek-R1 论文原文。论文中 Aha Moment 出现在更复杂的推理题上，模型自发说出 "Wait, wait. Wait. That's an aha moment I have."（论文 Section 3.2）。
  • 处理：保留示意，已标注"示意示例，非论文原文"。示意准确传达了"自发反思"的核心现象，不影响理解。

C2. InstructGPT TruthfulQA +22%（slide 20）

  • 原文："TruthfulQA 真实性 +22%"
  • 核查：InstructGPT 论文（Ouyang et al. 2022）Figure 4 报告了 TruthfulQA 上的改进，175B InstructGPT truthful 率约 0.55 vs GPT-3 175B 约 0.45，改进约 22%。数字与原论文一致。✓
  • 处理：保留，无需修正。

外部事实核实汇总

以下断言均已核实通过（✓）：

断言 来源 核实
AlphaGo vs 李世石 4:1 (2016.03) DeepMind 官方 ✓
AlphaGo Master vs 柯洁 3:0 (2017.05) DeepMind 官方 ✓
AlphaZero 36h 超越 AlphaGo (2017) Silver et al. Nature 2018 ✓
InstructGPT SFT ~13k / RM ~33k / 40 标注员 Ouyang et al. 2022 ✓
1.3B InstructGPT 胜过 175B GPT-3 Ouyang et al. 2022 ✓
Anthropic RLAIF 成本 1/10~1/100 Bai et al. 2023 ✓
GRPO 算法（组内归一化替代 Critic） Shao et al. 2024 (DeepSeekMath) ✓
DeepSeek-R1 Aha Moment DeepSeek-AI 2025.01 技术报告 ✓
DeepSeek-R1 SFT 数据 ~60 万条 DeepSeek-AI 2025.01 技术报告 ✓
OpenAI 弱对强泛化（GPT-2 监督 GPT-4） Burns et al. 2023 ✓
InstructGPT 2022.03 / ChatGPT 2022.11 OpenAI 官方 ✓
DeepSeek-R1 2025.01 DeepSeek-AI 官方 ✓

参考资料

  • AlphaGo：Silver et al. "Mastering the game of Go with deep neural networks and tree search" (Nature 2016)
  • AlphaZero：Silver et al. "A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play" (Science 2018)
  • InstructGPT：Ouyang et al. "Training language models to follow instructions with human feedback" (NeurIPS 2022)
  • DPO：Rafailov et al. "Direct Preference Optimization: Your Language Model is Secretly a Reward Model" (NeurIPS 2023)
  • RLAIF：Bai et al. "Constitutional AI: Harmlessness from AI Feedback" (Anthropic 2023)
  • GRPO：Shao et al. "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models" (2024)
  • DeepSeek-R1：DeepSeek-AI "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning" (2025.01)
  • Superalignment：Burns et al. "Weak-to-strong generalization" (OpenAI 2023)
  • PPO：Schulman et al. "Proximal Policy Optimization Algorithms" (2017)
  • TRL：HuggingFace TRL 库（GRPOTrainer 实现）
相关推荐
SEO_juper2 小时前
AI 爬虫 robots.txt 检查工具：你的站是不是把 AI 挡在门外了
开发语言·人工智能·爬虫·python·外贸独立站
涛思数据（TDengine）2 小时前
TDengine TSDB 3.4.3.3 上线：流计算分层闭环、虚拟表跨层引用，查询关联一次写完
数据库·人工智能·数据分析·时序数据库·tdengine·工业
碧海银沙音频科技研究院2 小时前
基于ATS308X的无线语音交互对话功能实现
人工智能·嵌入式硬件·深度学习·算法
博.闻广见2 小时前
第10篇：Agent系统的性能优化 —— 缓存、压缩与动态模型路由
java·人工智能·后端·spring·agent
海雅达手持终端PDA2 小时前
配电台区杆塔巡检老卡死？海雅达Model 4/HDT500实测
人工智能·物联网·集成测试·能源·政务
叶子丶苏2 小时前
提示词工程格式四段式与少样本-VibeCoding入门笔记06
人工智能·笔记
染指11102 小时前
151.Agent-LangGraph-Send发送（Map-Reduce模式）
人工智能·python·langchain·状态模式·agents
solidwork_s2 小时前
SOLIDWORKS 2027 Electrical电气新功能汇总
运维·服务器·人工智能·solidworks
语音之家2 小时前
NeurIPS 2026｜RAIL：从人类认知能力视角重新审视大型音频语言模型的听觉智能
人工智能·机器人·语⾳agent·音频语言
热门推荐
01如何新建文件夹？ 电脑新建文件夹的4种方法02国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）03历年考研数学一、数学二、数学三真题试卷及答案PDF04GitHub 镜像站点05几个好用的ip纯净度检测网站06「全语录+省流版」邵艾伦 × 孙宇晨：聊风口、聊个人IP、聊年轻人如何抓住 AI 时代的机会07乙二醇水溶液物性参数08苹果iPA游戏软件资源下载网站09昇腾910B系列芯片完全指南：四款型号对比、服务器选型与大模型部署实战10Windows 10/11 如何退出微软账户并改用本地账户登录（含找不到选项的解决方法）