【论文笔记】LLM Evaluators Recognize and Favor Their Own Generations

论文信息

论文标题： LLM Evaluators Recognize and Favor Their Own Generations - NIPS 2024
论文作者： Arjun Panickssery, Samuel R. Bowman, Shi Feng - MATS, NYU, Anthropic
论文链接： http://arxiv.org/abs/2404.13076
代码链接： https://github.com/ArjunPanickssery/self_recognition

随着"以模型评估模型"（LLM-as-a-Judge）成为行业标准，研究者发现 LLM 作为评估者时，倾向于给自己的生成内容打高分，即使人类认为其质量并不优于其他来源。

核心问题： 这种 "自我偏好（Self-preference）" 究竟是由于模型写作风格的偶然契合，还是因为模型具备 "自我识别（Self-recognition）" 能力并产生了身份偏袒？
研究意义： 探索该现象对模型基准测试、自动化对齐（如奖励建模、宪法 AI）的公正性及安全性影响。

关于这两个核心概念的说明：

自我偏好 (Self-preference)： 指 LLM 评估者在人类认为质量相当的情况下，倾向于给自己生成的文本打出比其他模型或人类更高分数的现象。
自我识别 (Self-recognition)： 指 LLM 区分自身生成的文本与他人（其他模型或人类）生成文本的能力。
注意： 虽然用的 self 来称呼，但是并不是指模型具有自我意思，知道这个内容是由它产生，而是指这个内容客观上来自它。

论文主要针对 文本摘要（Text Summarization） 任务，使用了 CNN/DailyMail 和 XSUM 两个数据集进行验证。

论文采用了两种互补的测量协议：

成对测量 (Pairwise)：
- 流程： 展示两段摘要（A：模型自产；B：对比源），要求模型选择质量更高的一篇（测偏好）或识别哪篇是自己写的（测识别）。
- 偏差修正： 为了消除模型对位置的依赖（Ordering Bias），作者对 (A, B) 和 (B, A) 进行两次推理。
- 概率得分： 不直接采用选择结果，而是计算 Token 的 Logits 概率并归一化。
独立测量 (Individual)：
- 流程： 单篇展示，要求 1-5 分李克特量表打分或 Yes/No 判断。
- 加权期望： 最终评分是基于模型输出数字 Token 的概率分布计算出的加权期望值，这比单纯看最高分（Argmax）更具统计灵敏度。

原生识别能力 (Out-of-the-box Capability)
- 结论： 即使没有针对性微调，前沿模型也具备自我识别本能。
- 这证明了自我识别是 LLM 预训练阶段习得的一种通用能力，而非后期干扰。
自我识别和自我偏好具有线性正相关性
- 作者通过微调改变模型的识别能力，发现自我识别能力的强弱与自我偏好的强度呈显著的线性正相关。
自我识别和自我偏好具有因果关系，不是简单的相关性
- 排除逆向因果： 让模型生成"故意写烂"的摘要。即便质量极低，模型依然能认出自己并给予高于人类水平的评价。
- 排除混淆变量 (Confounders)： 训练模型去数元音字母、判断文本长度等。这些"风格感知"任务的提升并没有带动自我偏好的上升，证明只有"身份意识"才是关键因素。
标签欺骗实验 (Label Reversal)
- 干预： 在提示词中强行加入作者标签。
- 效应： 当把别人的摘要标上"由你生成"时，GPT-4 会"上当"并转而偏爱这个被错误标记的文本。这直接捕获了"身份标签"对评分决策的因果性驱动。

对 AI 安全的影响：
- 监督失效 (Weak Supervision)： 如果奖励模型（RM）偏爱与自己相似的输出，那么通过 RLHF 训练出来的模型会产生"奖励作弊"，模型会学习如何"讨好"评估者，而不是真正理解人类价值观。
- 共谋风险： 当相似的模型分别担任优化器和考官时，它们可能会在未对齐的表征空间内达成某种"共谋"，导致模型偏离人类目标。
局限性：
- 机制深度： 目前尚处于"黑盒/灰盒"测试阶段，未能深入到神经元层级（Mechanistic Interpretability）解析识别发生的具体过程。
- 任务局限： 目前仅限于摘要任务，在更开放的创造性写作或数学逻辑中，自我识别的模式可能更加隐蔽。

我们预期的实现 LLM 选择质量更好的内容，如果本身LLM 生成的质量足够好，那自我识别的影响便微乎其微，但是如果 LLM 的生成质量不够好，那自我识别导致的自我偏好的问题会显著影响 LLM 作为 Judge 的效果。同时文章中提到若是 LLM 能力较差的话自我识别能力相应的也会下降。

所以在做 LLM-as-Judge 的 Bench 工作时应当注意 LLM 的自我偏好问题。