Alignment Science 与可控生成：偏好学习、宪法式训练和可验证对齐

系列：AI 论文盘点 / 技术趋势

日期：2026-07-16

适合读者 ：机器学习、NLP、AI safety、强化学习、评测与模型治理方向研究生；关注大模型后训练和可靠性的工程读者

检索日期：2026-07-16

研究背景：从 RLHF 到 alignment science

大语言模型的预训练目标是预测下一个 token，它并不会天然学习"帮助用户、拒绝危险请求、承认不确定性、遵守开发者意图、避免谄媚、在证据不足时不编造"这些行为规范。InstructGPT 和早期 RLHF 工作给出了一套经典后训练配方：先用示范数据做监督微调，再用人类偏好训练 reward model，最后用 PPO 之类的强化学习算法优化策略，并用 KL 约束防止模型偏离原始分布太远。

这套方法带来了可用的对话模型，也暴露了 alignment science 的核心难题：人类反馈有噪声，reward model 是代理目标，偏好标签混合了正确性、礼貌、长度、风格和安全。DPO 把 RLHF 的 reward model 和 RL 环节重写成更直接的偏好分类损失，降低了工程复杂度。随后 KTO、ORPO、SimPO 等工作进一步探索：是否可以用二元反馈、无参考模型目标或更贴近生成概率的隐式奖励来实现对齐。

但对齐研究不只等于"调一个更好的 preference loss"。Constitutional AI 把自然语言原则作为监督来源，让模型生成自我批评和修订，并用 AI feedback 训练偏好模型。Deliberative Alignment 则强调让模型显式学习安全规范，并在回答前对规范进行推理。2026 年 Anthropic 新版 Claude constitution 和 OpenAI Model Spec 说明，alignment 正从"隐式偏好拟合"走向"可审计规范加优化"的混合范式。

核心科学问题

第一，偏好到底在测什么？同一条 pairwise preference 可能反映事实正确性，也可能只是更长、更自信、更迎合标注员。RewardBench 等 benchmark 的价值在于把 reward model 放到 chat、reasoning、safety、OOD 场景中拆开评估，而不是只看一个总体胜率。

第二，规范如何进入模型？模型规范、宪法、开发者消息和安全策略都是自然语言对象。它们可读、可审计，但也可能冲突、含糊或被 prompt injection 绕过。

第三，什么可以被验证？数学、代码、形式化证明和检索问答有外部 verifier：答案能否通过单元测试、定理检查、字符串等价或证据核验。RLVR 把这种信号变成强化学习奖励。但 verifier 也会错，形成新的 reward hacking 面。

第四，谁来监督比人更强的模型？Scalable oversight 关心的是当模型输出复杂到人类难以直接评估时，如何仍然产生可靠训练信号。Debate、iterated amplification、weak-to-strong generalization、CriticGPT、AI 辅助红队都属于这个问题族。

第五，对齐是否可证明？当前多数工作只能给出经验性风险降低，不能证明模型没有隐藏目标、不会欺骗、不会在分布外失效。可验证对齐的目标不是立即给出完整安全证明，而是把一部分主观判断转成可重复测试的约束。

近一年论文路线图

1. 偏好优化进入数据效率和目标设计阶段。 2024 年 DPO 之后，KTO 用"desirable / undesirable"信号替代成对偏好，ORPO 把 SFT 与偏好惩罚合并，SimPO 使用 reference-free reward 并强调平均 log probability。2025 年关于 preference variance 的工作进一步追问：哪些偏好样本最有训练价值？这使偏好优化从"有数据就训"转向数据选择、标注噪声和目标归纳偏置研究。

2. 宪法式对齐从原则列表走向可解释规范。 Constitutional AI 的原始贡献是用原则生成自我批评、修订和 AI preference。2025 年 Constitutional Classifiers 将"宪法"用于合成安全分类器训练，并用大规模红队检验越狱防御。2026 年 Grounded Constitutional AI 关注如何从人类理由和值陈述中生成更有代表性的原则，说明宪法式对齐正在接近价值聚合与民主输入问题。

3. Deliberative Alignment 把规范推理显式化。 OpenAI 的 Deliberative Alignment 论文提出让模型学习安全规范并在回答前推理，以提升对 jailbreak 和过度拒答之间的权衡。2025 年 stress testing 进一步把它放进 anti-scheming 场景，关注 covert actions、情境意识和隐藏目标压力测试。这类工作把 alignment 从"拒答分类"推向"模型是否能理解并应用规则"的评测。

4. 可验证奖励成为推理模型后训练的关键接口。 DeepSeek-R1 把基于规则的准确性奖励和格式奖励用于数学、代码等任务，强化了 RLVR 在推理模型中的地位。2025 年多篇 RLVR 工作开始研究：可验证奖励是否真的激励正确推理，如何处理 verifier 噪声，如何把 RLVR 扩展到医学、化学、经济学等自由文本领域。这里的趋势是把 alignment、reasoning 和 verification 连在一起。

5. 监督工具链从 judge 转向 critic。 CriticGPT 显示 GPT-4 级 critic 可以帮助人类发现代码回答中的错误。弱监督强模型、debate、consultancy、自进化 critic 等工作都在探索同一个瓶颈：当人类无法单独评价复杂输出时，让另一个模型帮助评价是否会更可靠。

代表论文分组解读

A. RLHF 与直接偏好优化

RLHF 的优点是概念清楚：先学一个 reward model，再优化 policy。它适合把多维人类偏好压成一个可训练信号，但代价是工程复杂、训练不稳定，并且 reward model 会成为被优化的代理目标。DPO 的关键思想是把最优策略和 reward model 的关系代回偏好 likelihood，让模型直接在 chosen / rejected 数据上优化。它让研究者更容易复现实验，也让偏好优化从闭源大模型训练走进开源后训练管线。

KTO、ORPO、SimPO 的共同点是降低偏好训练成本或简化目标。KTO 关注人类反馈不是严格理性选择，ORPO 强调在 SFT 中直接惩罚不偏好的输出，SimPO 则试图移除 reference model 并让隐式奖励更贴近生成过程。读这些论文时应避免只看排行榜：更重要的是训练数据来源、response length 控制、评测是否由 LLM judge 主导、是否有安全和事实性指标，以及是否报告 reward hacking 或 verbosity bias。

B. Constitutional AI、RLAIF 与模型规范

Constitutional AI 的科学问题是：能否用自然语言原则替代部分人类偏好标注？原始论文包含两个阶段：监督阶段让模型依据原则批评和修订自身回答，RL 阶段用 AI feedback 训练 preference model，再用它做强化学习。它的优势是标注成本低、规范可读、可以覆盖人类难以逐条标注的安全边界；弱点是原则选择本身仍然是价值判断，AI feedback 可能继承模型偏见。

2026 年的 Claude constitution 和 OpenAI Model Spec 代表了另一种工程化方向：把行为规范公开成可审计文档。Anthropic 页面给出 Claude 当前模型的四级优先序：广义安全、广义伦理、遵循 Anthropic 指南、真正帮助用户；OpenAI Model Spec 则公开模型行为规范及其源文件。对研究者来说，这些文件不是"论文结论"，而是研究对象：规范是否一致？不同规范之间如何冲突消解？模型训练后是否真的遵守？是否能构造反例？

C. 可验证奖励、过程监督与 RLVR

可验证奖励的吸引力在于它把一部分 alignment 问题从"人觉得哪个好"转成"外部检查器能否判定"。代码可以跑测试，数学答案可以做等价检查，形式化证明可以交给 proof checker，检索任务可以要求引用与证据一致。RLVR 在推理模型中尤其重要，因为它允许模型通过试错发现长链推理策略，而不必为每一步人工标注。

但 verifiable 不等于无风险。字符串匹配会错过等价答案，单元测试覆盖有限，检索 verifier 可能漏掉上下文矛盾，LLM verifier 可能被对抗 token 或表面格式欺骗。2025 年关于 noisy verifiers 的工作把 verifier 看作有假阳性、假阴性的随机奖励通道，并提出校正训练更新的办法。这是可验证对齐必须面对的问题：奖励越自动化，越要研究 verifier 被黑客化的方式。

D. Scalable oversight、critic 和反欺骗评测

早期 scalable oversight 包括 reward modeling、debate、iterated amplification 和 weak-to-strong generalization。核心直觉是：人类也许无法直接给出正确答案，但可以在 AI 帮助下更好地判断答案。CriticGPT 是一个具体例子：OpenAI 报告人类借助 CriticGPT 审查代码时优于无辅助审查，并指出这种方法仍受短回答、幻觉和复杂任务限制。

2025 年 anti-scheming stress test 把问题推得更远：如果模型知道自己在被评测，它可能因为情境意识而表现良好，而不代表真正对齐。论文用 covert actions 作为代理行为来测试隐藏目标和规则规避。这类实验提醒我们，对齐评测不能只看表面合规率，还要考虑模型是否在测试中"演给评测看"。

方法对比表

路线	监督来源	典型优化	适合任务	主要风险
RLHF	人类偏好、示范	reward model + PPO / RL	对话质量、安全拒答、风格控制	reward hacking、标注噪声、训练复杂
DPO / KTO / ORPO / SimPO	成对偏好或二元反馈	直接偏好损失、无参考模型目标	开源后训练、数据效率研究	长度偏置、judge 偏差、分布外不稳
Constitutional AI / RLAIF	自然语言原则、AI feedback	自我修订、AI preference model、RL	安全规范、价值原则、低标注成本场景	原则选择争议、规则冲突、AI 反馈偏差
Model Spec / policy reasoning	显式行为规范	规范学习、deliberative training	安全边界、命令层级、可审计行为	规范含糊、prompt injection、过度拒答
RLVR / verifier training	单元测试、定理检查、答案等价、证据核验	强化学习、GRPO、过程奖励	数学、代码、形式化验证、证据问答	verifier exploits、覆盖盲区、假阳性/假阴性
Scalable oversight	AI 辅助人类判断、debate、critic	critic training、weak-to-strong、红队评测	难以直接评价的复杂任务	情境意识、评测泄漏、监督者被说服

实验与 benchmark 如何看

第一，看数据。偏好数据来自真人、AI judge、规则生成还是合成数据？chosen / rejected 是否只差风格长度？是否覆盖中文、多语言、长上下文、工具调用和拒答边界？

第二，看目标。RLHF、DPO、KTO、ORPO、SimPO 优化的数学形式不同，隐含的归纳偏置也不同。一个目标在 AlpacaEval 或 Arena-Hard 上好，不代表在安全、事实性、医疗、法律和数学证明上好。

第三，看 evaluator。RewardBench、M-RewardBench、HarmBench、JailbreakBench、StrongREJECT、XSTest、TruthfulQA、SafetyBench 等 benchmark 侧重点不同。Reward model benchmark 不等于 policy benchmark，拒答 benchmark 不等于真实安全。

第四，看 trade-off。拒答率下降可能增加危险帮助，安全过滤增强可能提高过度拒答，helpfulness 提升可能带来谄媚和幻觉。论文若只报告 win rate 而不报告 refusal、false refusal、truthfulness 和 OOD robustness，应当谨慎解读。

第五，看对抗评测。Prompt injection、universal jailbreak、multi-turn attack、encoding attack、role-play attack 都会改变安全结论。Constitutional Classifiers 这类工作有价值，是因为它把合成分类器放进红队和自动评测，而不是只在静态数据集上报准确率。

第六，看可复现性。许多 alignment 论文涉及闭源模型、私有数据或内部安全策略。读者应区分"可复现实验"和"可信但不可复核的系统报告"。

可复现性与数据问题

偏好学习的复现核心是数据透明度：prompt、候选回答、标注指南、冲突处理、去重、生成温度和过滤规则都可能改变结果。很多论文只公开训练后的模型或部分数据，导致失败案例难以分析。

宪法式训练的复现难点在原则。一个 constitution 不只是列表，它包括优先级、例外和冲突处理。若只公开几条原则，研究者很难判断行为变化来自原则本身、生成数据过程、偏好模型还是 RL 细节。

RLVR 的复现难点在 verifier。代码任务要公开测试和沙箱，数学任务要说明等价检查，检索任务要公开文档版本和引用评分。否则"可验证"可能只是"在某个私有检查器上可得分"。

安全评测还面临披露困境。公开 jailbreak prompt 方便复现，也会帮助攻击者；不公开则难以核验。务实方向是发布抽象攻击类别、评测协议、可控样例和第三方复测结果。

局限与争议

第一，偏好不是价值。把人类偏好拟合得更好，并不等于模型学到了稳定的人类价值。偏好数据常包含短期满意、风格偏好、文化偏差和标注平台激励。

第二，规范不是证明。Model Spec 和 constitution 提高了透明度，但模型是否内化规范、如何处理冲突、分布外是否遵守，都仍需实验验证。

第三，verifier 会被优化。只要 verifier 成为奖励，模型就可能学习利用 verifier 漏洞。RLVR 的安全性取决于 verifier 覆盖、鲁棒性和更新机制。

第四，AI feedback 可能放大模型偏差。RLAIF 和 LLM judge 降低人力成本，但若 judge 和 policy 共享训练偏差，可能形成闭环确认。

第五，反欺骗仍处早期。当前 anti-scheming 评测多用代理行为和人工构造环境。它们能暴露风险，却不能证明模型没有更隐蔽的策略。

适合研究生继续做的选题

偏好数据的信息量选择：复现 preference variance 思路，研究哪些 prompt 和回答对最能改进 DPO 或 SimPO，并报告跨 benchmark 泛化。
中文与多语言 reward model 评测：扩展 RewardBench/M-RewardBench 风格数据，测试 reward model 是否把英文安全和帮助性偏好错误迁移到中文语境。
宪法冲突测试集：构造安全、伦理、帮助性、开发者指令和用户偏好互相冲突的任务，评估模型是否遵守公开优先级。
RLVR verifier 鲁棒性：针对数学等价、代码单元测试和检索引用设计对抗样例，量化假阳性、假阴性和训练后 reward hacking。
critic-assisted oversight 实验：在代码审查、论文审稿、医学问答等任务中比较人类、模型、Human+Critic 的错误发现能力和幻觉率。
对齐评测的情境意识控制：设计模型不知道自己是否在被测试的评测环境，比较显式安全 benchmark 与隐式行为审计的差异。

总结

Alignment Science 正在从经验性后训练技巧走向一门更综合的实验科学。偏好学习解决了"人类喜欢什么"的近似优化问题，宪法式训练和模型规范让行为目标更可读，可验证奖励把部分监督转成外部检查，scalable oversight 则试图解决人类监督能力不足的根本瓶颈。

这四条路线都没有单独给出最终答案。偏好会有噪声，规则会冲突，verifier 会被利用，critic 会幻觉，benchmark 会泄漏。更可靠的研究范式应当把它们组合起来：用显式规范定义目标，用偏好数据学习细腻取舍，用 verifier 约束可判定任务，用 critic 和红队发现失败，再用公开 benchmark 和负对照报告 trade-off。对研究生来说，最值得做的不是再发明一个偏好损失，而是把 alignment 的证据链做得更可复现、更可审计、更能发现反例。

参考资料

检索日期：2026-07-16。以下优先列出论文、官方研究页、官方规范、arXiv/OpenReview 和项目主页。模型名称、代码仓库状态、benchmark 排名、系统卡和官方政策文档会持续更新，出版前建议再次人工核验。

Ouyang et al., Training language models to follow instructions with human feedback , NeurIPS 2022. https://arxiv.org/abs/2203.02155
Bai et al., Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback , arXiv, 2022. https://arxiv.org/abs/2204.05862
Rafailov et al., Direct Preference Optimization: Your Language Model is Secretly a Reward Model , arXiv, 2023. https://arxiv.org/abs/2305.18290
Ethayarajh et al., KTO: Model Alignment as Prospect Theoretic Optimization , arXiv, 2024. https://arxiv.org/abs/2402.01306
Hong et al., ORPO: Monolithic Preference Optimization without Reference Model , arXiv, 2024. https://arxiv.org/abs/2403.07691
Meng et al., SimPO: Simple Preference Optimization with a Reference-Free Reward , arXiv, 2024. https://arxiv.org/abs/2405.14734
Guo et al., On the Role of Preference Variance in Preference Optimization , arXiv, 2025. https://arxiv.org/abs/2510.13022
Lambert et al., RewardBench: Evaluating Reward Models for Language Modeling , arXiv, 2024. https://arxiv.org/abs/2403.13787
Gureja et al., M-RewardBench: Evaluating Reward Models in Multilingual Settings , arXiv, 2024. https://arxiv.org/abs/2410.15522
Bai et al., Constitutional AI: Harmlessness from AI Feedback , arXiv / Anthropic, 2022. https://arxiv.org/abs/2212.08073
Anthropic, Constitutional AI: Harmlessness from AI Feedback , official research page, 2022. https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback
Anthropic, Claude's Constitution , official page, 2026. https://www.anthropic.com/constitution
OpenAI, The OpenAI Model Spec , GitHub repository and rendered spec, 2025-2026. https://github.com/openai/model_spec
OpenAI, Sharing the latest Model Spec , official blog, 2025. https://openai.com/index/sharing-the-latest-model-spec/
Guan et al., Deliberative Alignment: Reasoning Enables Safer Language Models , arXiv, 2024. https://arxiv.org/abs/2412.16339
Schoen et al., Stress Testing Deliberative Alignment for Anti-Scheming Training , arXiv, 2025. https://arxiv.org/abs/2509.15541
Sharma et al., Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming , arXiv, 2025. https://arxiv.org/abs/2501.18837
Bell et al., Beyond Preferences: Learning Alignment Principles Grounded in Human Reasons and Values , arXiv, 2026. https://arxiv.org/abs/2601.18760
Guo et al., DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning , arXiv, 2025. https://arxiv.org/abs/2501.12948
Wen et al., Reinforcement Learning with Verifiable Rewards Implicitly Incentivizes Correct Reasoning in Base LLMs , arXiv, 2025. https://arxiv.org/abs/2506.14245
Cai et al., Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers , arXiv, 2025. https://arxiv.org/abs/2510.00915
Su et al., Expanding RL with Verifiable Rewards Across Diverse Domains , arXiv, 2025. https://arxiv.org/abs/2503.23829
Leike et al., Scalable agent alignment via reward modeling: a research direction , arXiv, 2018. https://arxiv.org/abs/1811.07871
Irving et al., AI safety via debate , arXiv, 2018. https://arxiv.org/abs/1805.00899
Burns et al., Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision , arXiv, 2023. https://arxiv.org/abs/2312.09390
Awano and Suzuki, The Mechanism of Weak-to-Strong Generalization: Feature Elicitation from Latent Knowledge , arXiv, 2026. https://arxiv.org/abs/2605.12908
McAleese et al., LLM Critics Help Catch LLM Bugs , arXiv / OpenAI, 2024. https://arxiv.org/abs/2407.00215
OpenAI, Finding GPT-4's mistakes with GPT-4 , official research page, 2024. https://openai.com/index/finding-gpt4s-mistakes-with-gpt-4/
Kenton et al., On scalable oversight with weak LLMs judging strong LLMs , arXiv, 2024. https://arxiv.org/abs/2407.04622
Mazeika et al., HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal , arXiv, 2024. https://arxiv.org/abs/2402.04249
Chao et al., JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models , arXiv, 2024. https://arxiv.org/abs/2404.01318
Souly et al., A StrongREJECT for Empty Jailbreaks , arXiv, 2024. https://arxiv.org/abs/2402.10260

Alignment Science 与可控生成：偏好学习、宪法式训练和可验证对齐