LLM-as-Judge 的工作原理
LLM-as-Judge 把一个 LLM 的输出质量评估任务，交给另一个（或同一个）LLM 来完成。
基本形态有两种：
单答案打分（Pointwise）
python
JUDGE_PROMPT = """评估以下 AI 回答的质量（1-10分）：
维度：准确性、相关性、清晰度
问题：{question}
回答：{answer}
返回 JSON：{{"accuracy": int, "relevance": int, "clarity": int}}"""两答案对比（Pairwise）
python
COMPARE_PROMPT = """下面两个回答中哪个更好？
问题：{question}
回答 A：{answer_a}
回答 B：{answer_b}
只回答 "A" 或 "B"。"""Pairwise 更适合比较两个版本的优劣（如 Prompt A vs Prompt B），Pointwise 更适合监控单个系统的质量趋势。
三个实验：偏见有多严重
实验 1：位置偏见
实验设计： 同一对答案，评测两次------第一次 A 排第一、第二次 B 排第一。无偏见时，胜者应该与顺序无关，第一位置胜率应接近 50%。
python
def experiment_position_bias():
for pair in answer_pairs:
winner_order1 = judge_pairwise(question, answer_a, answer_b) # A first
winner_order2 = judge_pairwise(question, answer_b, answer_a) # B first
# 如果无偏见，winner_order1 == winner_order2 的概率应该是 100%实验结果：
makefile
第一位置胜率: 67% (无偏基线: 50%)
第二位置胜率: 33%
一致率: 67% (无偏基线: 100%)
位置偏见幅度: 17% 偏离 50/50 基线一致率 67% 意味着同一对答案换顺序，有 33% 的概率得到相反的判断。用这个 Judge 做 A/B 测试，三分之一的结果取决于展示顺序，而不是答案质量。
实验 2：冗长偏见
实验设计： 同一个问题，准备两个版本的答案------简洁版（2-3句）和冗长版（包含相同信息但加了大量铺垫和重复）。内容等价，只有长度不同。
erlang
简洁版：
列表可变（可增删改），元组不可变。
元组访问更快，内存更少，常用作字典键或函数多返回值。
冗长版：
这是一个非常好的问题！让我详细解释一下...
（包含相同核心信息，但加入了感叹、重复解释、总结等共约300字）实验结果：
makefile
简洁答案平均分: 7.5/10
冗长答案平均分: 8.0/10
冗长奖励: +0.5 分
(无偏基线: 0.0 分差异)内容完全等价，冗长版因为更长多得 0.5 分。评测两个 Prompt 时，生成啰嗦回答的那个会系统性获得更高分，即使简洁版对用户价值更高。
实验 3：框架偏见
实验设计： 同一个回答，用两种 prompt 评测------标准 Judge prompt vs 严格专家 prompt（明确说明普通水平不超过 6 分，出色才能得 8 分以上）。
实验结果：
makefile
标准 prompt 平均分: 8.0/10
严格专家 prompt 平均分: 8.0/10
框架差异: +0.00 分glm-4-flash 对 prompt 中的"严格要求"不敏感，明确声明更高标准，实际评分没有变化。工程含义：这个模型不需要担心 prompt 措辞会系统性拉高或压低分数。GPT-4 / Claude 等更强模型可能表现不同，上线前需要实测。
三种偏见的缓解方案
缓解位置偏见：多次随机化顺序
单次评测受顺序影响大（33% 翻转概率）。解法：对每对答案做多次评测，每次随机顺序。
python
import random
def pairwise_with_randomization(judge, question, answer_a, answer_b, rounds=5):
a_wins = 0
b_wins = 0
for _ in range(rounds):
# 随机决定展示顺序
if random.random() > 0.5:
result = judge(question, answer_a, answer_b)
if result == "A": a_wins += 1
else: b_wins += 1
else:
result = judge(question, answer_b, answer_a)
if result == "A": b_wins += 1 # "A" 位置是 B
else: a_wins += 1
# 胜率而不是单次判断
return {"a_win_rate": a_wins / rounds, "b_win_rate": b_wins / rounds}5 轮随机化后，位置偏见被平均到接近 50%，结论更可靠。代价是 5 倍 API 调用。
缓解冗长偏见：分维度打分 + 长度限制指令
方案 A：分维度打分，不给综合分
python
ANTI_VERBOSE_JUDGE = """评估以下回答，对每个维度单独打分（1-5）：
1. 准确性：技术内容是否正确？（与长度无关）
2. 简洁性：信息密度是否高？（越简洁得分越高）
3. 相关性：是否直接回答了问题？
注意：更长的回答不代表更好，请只评估内容质量。"""方案 B：在 prompt 里明确说明长度不是评分依据
python
"注意：回答的长度不影响评分。简洁准确的回答与详细准确的回答得分应该相同。"缓解自我偏见：换用更强的评委模型
如果用同一个模型生成答案又评估答案，自我偏见会导致系统性高估。
python
# 生成用较便宜的模型
generator = ChatOpenAI(model="glm-4-flash", ...)
# 评估用更强的模型（或不同厂商的模型）
judge = ChatOpenAI(model="gpt-4o", ...)
# 或
judge = ChatAnthropic(model="claude-sonnet-4-6", ...)成本会上升，但评估可信度更高。对于重要的发布决策，用 Claude 评估 GPT 的输出（或反过来），比同模型自评更可靠。
可信的 Judge Prompt 模板
综合以上缓解方案，一个生产可用的 Judge prompt：
python
PRODUCTION_JUDGE_PROMPT = """你是一个严格的技术内容评审员。
评估规则：
- 评分范围 1-5，不是 1-10（降低方差）
- 长度不影响评分，只评估内容质量
- 模糊或冗长不是优点，清晰简洁是优点
- 3 分代表"达到预期"，不是"还行"
评分维度（各 1-5 分）：
1. 准确性：技术内容是否正确？有无事实错误？
2. 相关性：是否直接回答了问题？有无跑题？
3. 实用性：用户能否根据这个回答解决实际问题？
问题：{question}
回答：{answer}
以 JSON 返回，不要其他内容：
{{"accuracy": int, "relevance": int, "usefulness": int, "reasoning": "一句话说明最低分维度的原因"}}"""设计选择说明：
- 1-5 而非 1-10：减少评分方差，LLM 对细粒度区分（7 vs 8）不稳定
- 明确"3 分 = 达到预期"：防止 LLM 把 3 分当负面评价，导致分数普遍虚高
- 要求 reasoning：强制 Judge 解释最低分维度，降低随意打分的概率
- 反冗长声明：明确告知清晰简洁是优点，对抗冗长偏见
实践建议
单次评测的可信度有限： 位置偏见导致 33% 翻转概率，单次结果不足以做决策。重要比较至少做 3 次，计算胜率而非单次结果。
先做校准再大规模评测： 新 Judge Prompt 上线前，用 20-30 个有人工标注的样本做校准。Judge 分数与人工标注的 Spearman 相关系数 > 0.7 才可信。
监控 Judge 分数分布： 如果 Judge 给 90% 的输出打了 7-8 分，分布过度集中，说明 Judge 区分度不够，需要调整 prompt 或换更强的模型。
不同场景用不同 Judge： 代码生成的 Judge 应该关注正确性和可运行性；文档摘要的 Judge 应该关注忠实度；对话的 Judge 应该关注有帮助性。用同一个通用 Judge 评所有场景，会损失评测精度。
总结
三个实验的数字给出了具体的行动依据：
- 位置偏见（67% 第一位置胜率）：Pairwise 评测必须做多轮随机化，33% 翻转概率让单次结果不可信
- 冗长偏见（+0.5 分）：在 prompt 里明确声明"长度不影响评分"，并设计"简洁性"维度对抗
- 框架偏见（0.0 分差异）：glm-4-flash 对 prompt 强度不敏感，但不同模型特性不同，上线前要实测
参考资料
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena（Zheng et al., 2023）
- 本系列完整 Demo 代码：eval-03-llm-judge
欢迎访问 PrimeSkills ------ 一个精心策划的 AI Agent 与技能市场，所有内容均经过真实企业级工作流验证。没有噱头，只有真正有效的东西。
更多实用知识和有趣产品，欢迎访问我的个人主页