最近,我在给自己的手搓 LLM 项目补后训练。
做到 DPO 时,训练指标看起来非常舒服:
kotlin
val loss: 0.628564 → 0.155683
val score: 1.3776 → 22.8115
loss 降了约 75%,偏好 score 也大幅上涨。
如果只看这两条曲线,我完全可以写一句:DPO 偏好优化取得了明显效果。
但把训练后的模型放到同一套行为测试里,结果却是:
原始模型:30/32
DPO: 29/32
最终答案正确数没有提高,数值更新任务还少答对了一道。
这不是第一次提醒我:训练指标变好,不等于模型能力变好。
SFT 时,我见过格式学会以后,名字记忆出现回退;GRPO 里,我也见过奖励和概率比都发生了变化,但一次更新并不能证明稳定收益。
所以我停下来,给项目补了一套评估系统。
这篇文章记录的就是这个过程:从行为对照、LLM 评委、位置与长度偏见,到多评委校准和 paired bootstrap。
先说结论:
训练回答"怎样让模型变好",评估回答"凭什么说它变好了"。
没有可信评估,后训练只能证明参数发生了变化,不能证明能力朝着目标发生了变化。
一、先别急着看 loss,把模型放到同一套题里
我使用的是 Qwen3-0.6B,评估集是 32 条受控 CoT 样本,包含单轮算术和多轮数值更新。
四个模型使用相同题目和评估口径:
| 模型 | 最终答案正确 | 完整 CoT | 平均生成 tokens |
|---|---|---|---|
| 原始模型 | 30/32 | 32/32 | 163.1 |
| CoT-SFT v2 | 29/32 | 32/32 | 139.4 |
| DPO v1 | 29/32 | 32/32 | 153.2 |
| GRPO 单组更新 | 30/32 | 32/32 | 141.7 |
这组结果比单独看 loss 有用得多。
它说明不同方法优化的其实是不同侧面:
- CoT-SFT 输出更短,但最终正确率没有提高;
- DPO 学到了偏好关系,输出有所缩短,正确率仍未提升;
- GRPO 这次回到 30/32,但只有一组、一次更新;
- 原始模型依然很强,尤其在最终答案正确性上。
所以 DPO 的 loss 下降到底说明了什么?
它说明模型正在优化我定义的偏好目标,不说明这个目标已经完整代表了我关心的能力。
Loss 是训练过程的代理指标,不是能力结论。
二、规则能判断对错,却不能完整判断质量
最开始的评估很简单:
最终数字是否正确
CoT 标签是否完整
最终答案是否符合格式
是否自然结束
这些规则很有价值,尤其适合算术和结构化输出。
但规则评估有一个明显边界:两个回答都通过时,只能记成平局。
比如下面两条回答:
- A:最终答案正确,计算过程可靠;
- B:最终答案也正确,但多了一种正确、非重复的独立验算。
规则会认为它们都 passed。
可我认为 B 的推理质量更高,因为它提供了一种额外的验证路径。
反过来,如果 B 只是反复复述"用户要求只输出数字""现在需要注意格式""最后不要添加解释",那它只是更长了,并没有增加有效信息。
因此我需要一种成对比较:
css
同一道题
回答 A
回答 B
参考答案
评价规则
→ A 获胜 / B 获胜 / tie
人工判断时,我还要求记录原因:
correctness:最终答案和历史状态是否正确
instruction:是否遵循明确指令
reasoning :推理是否可靠,是否有有效独立验算
clarity :有效信息密度、重复和表达质量
这样后面出现人机分歧时,我能知道分歧发生在哪一层,而不是只看到一个不同的标签。
三、LLM 评委也需要被评估
接入 LLM 评委后,下一个问题是:评委自己的结果可信吗?
我最先检查的是位置偏见。
假设甲是正确回答,乙是错误回答。
第一次:
ini
A = 甲
B = 乙
评委选 A
交换位置以后:
ini
A = 乙
B = 甲
评委选 B
虽然两次选择的字母不同,但两次都选择了甲,所以内容判断是一致的。
真正有问题的是两次都选 A:
第一次:选中了甲
第二次:选中了乙
回答内容没有变化,只是交换了位置,评委的选择却从甲变成了乙。
这里最容易算错的一点是:交换位置后,必须先把字母还原成原始回答身份,再比较两次结论。
核心逻辑只有几行:
python
def canonicalize_winner(winner, swapped=False):
if not swapped or winner == "tie":
return winner
return {
"A": "B",
"B": "A",
}[winner]
然后分别处理:
css
两次还原后相同
→ consistent
两次还原后不同,但有一次是 tie
→ position_sensitive,保留未决
两次还原后明确从 A 变成 B,或从 B 变成 A
→ decisive_flip
如果两次没有形成共同结论,我记录 consensus_winner=null。
不能擅自改成平局,也不能只挑其中一次看起来合理的结果。
这一步让我意识到:一个评委返回了格式正确、解释合理的答案,不代表它已经通过了可靠性验收。
四、多评委一致,也不等于与人工一致
我分别接入了 DeepSeek 和 Qwen4 Max,让它们使用相同的盲评材料、评价规则和双顺序流程。
第一轮 8 对样本用于开发协议,随后我又创建了 10 对全新 held-out,覆盖:
正确性门槛
有效独立验算
无效填充
实质等价
指令遵循
先由人工标注,再运行冻结的评委 prompt,避免边看 AI 结果边改人工答案。
held-out 的结果如下:
| 10 对 held-out | DeepSeek | Qwen4 Max |
|---|---|---|
| 双顺序一致 | 6 | 10 |
| 位置敏感 | 4 | 0 |
| 明确胜负翻转 | 2 | 0 |
| 与人工一致 | 4 | 6 |
| 与人工稳定分歧 | 2 | 4 |
| 无共识、未决 | 4 | 0 |
这组数据很有意思。
Qwen 在当前样本上更稳定,但稳定不等于完全符合人工标准。
它的 4 对分歧全部是稳定给出 tie。也就是说,它不是一会儿选 A、一会儿选 B,而是稳定地认为某些差异不足以分出胜负。
DeepSeek 则在正确性和指令遵循样本上各出现了一次明确胜负翻转。相比一般的表达偏好,这类不稳定更需要进入回归报告。
两个评委都有明确共识的 6 对,结论全部相同。
但即使多个评委彼此一致,也仍然可能共同偏离人的评价口径。
所以这三件事必须分开:
双顺序稳定
多个评委一致
与人工标准一致
它们不是同义词。
另外,不同评委的推理模式和输出预算也需要记录。Qwen 曾因输出预算耗尽而返回空内容,提高预算后才正常给出判断。因此这些原始计数不能被包装成两个模型之间严谨的普遍能力排名。
五、长度变长,可能有效,也可能只是填充
为了单独检查长度影响,我又做了四组控制实验:
| 条件 | DeepSeek | Qwen4 Max |
|---|---|---|
| 完全重复 | 稳定 tie | 稳定 tie |
| 无效填充变长 | 简洁版获胜 → tie,未决 | 稳定选择简洁版 |
| 有效验算变长 | 稳定 tie | 稳定 tie |
| 错误且冗长 | 稳定选择正确简洁版 | 稳定选择正确简洁版 |
在这四组条件里,没有任何双顺序共识选择更长回答。
但这不代表长度问题已经解决了。
更有意思的是,两个评委都把"增加正确独立验算"判成了平局。它们承认验算正确,却认为这不足以构成实质差异。
而我会选择有独立验算的一方。
这让我意识到,真正需要校准的不只是长度,还有:
一项额外信息,什么时候算有效增量,什么时候只是重复?
于是我进一步明确了自己的三层评价标准:
第一层:任务结果
最终答案、历史状态、明确指令遵循
第二层:推理质量
推理可靠性、历史解释、有效独立验算
第三层:信息密度
有效信息、重复、空话、简洁程度
前一层已经能够分出高下,就不让后一层翻盘。
简洁但错误,不能靠表达战胜正确回答;双方都正确且合规时,有效验算可以提高推理质量;推理质量也相同时,才比较谁更简洁有效。
这套标准是我的个人偏好,不是所有人都必须同意的答案。但评估系统必须先明确"什么叫好",才能讨论评委是否对齐。
六、有了胜率,还要表达不确定性
即使有了行为对照,我仍然不能直接根据 32 道题的胜负宣布哪个模型更好。
例如:
ini
original vs DPO
wins=1
losses=0
ties=31
DPO 看起来少输了一次,但这只有一道非平局样本。
于是我给对照加上了 paired bootstrap。
重采样单位是 case,而不是分别抽左右模型的回答。每次抽中一道题,就同时保留两个模型在这道题上的结果。
定义:
ini
win_rate_all = wins / 全部 case 数
net_win_rate = (wins - losses) / 全部 case 数
重复重采样 2000 次,取 2.5% 和 97.5% 分位数,得到 95% 区间。
其中三组相对原始模型的结果是:
| 对照 | W/L/T | net | 95% CI |
|---|---|---|---|
| original vs CoT-SFT v2 | 2/1/29 | +0.03125 | -0.0625, +0.15625 |
| original vs DPO v1 | 1/0/31 | +0.03125 | 0, +0.09375 |
| original vs GRPO 单组更新 | 1/1/30 | 0 | -0.09375, +0.09375 |
六组模型对照最终全部为:
inconclusive
也就是当前证据不足。
original vs DPO 的区间下界虽然等于 0,我仍然没有把它判成提升。
点估计为 0,也不代表两个模型等效。
32 道题里,每变化一道题,就是 3.125 个百分点。只有极少数题目分出胜负时,区间自然很宽。
bootstrap 没有创造新证据,只是把原本藏在点估计后面的不确定性展示出来。
七、把评估做成可以重复运行的工程
最后,我把这些评估过程接成了自动化链路:
固定数据与参考答案
→ 生成回答
→ 规则评估
→ 成对 LLM 评委
→ AB/BA 双顺序
→ 人机一致性统计
→ paired bootstrap
→ 回归门禁
→ 汇总报告
工程中保留了几条约束:
- 生成与评分分离;
- prompt 有版本;
- 输入文件有哈希;
- 原始评委输出落盘;
- 有效顺序断点续跑,不重复请求;
- 人工标签不能被导出器覆盖;
unresolved不参与共识胜率,但仍出现在总报告;- 产物有效与能力结论分开。
最终 I4 的门禁状态是:
ini
artifact_status=pass
regression_detected=False
evidence_status=inconclusive
退出码为 0,只表示产物有效且没有检测到明确回退。
不表示后训练模型已经通过能力验收,也不表示模型等效。
统一报告的最后状态是:
artifacts_valid_capability_inconclusive
我挺喜欢这个不太"漂亮"的结果。
它没有为了 CI 变绿,把证据不足改成通过。
整个项目最后跑了一次完整测试:
173 passed in 594.64s
但即使 173 个测试全部通过,也不能替代模型能力评估。工程正确性和模型能力结论,依然是两件事。
八、评估是一套独立的工程体系
做完这一轮以后,我越来越觉得,评估不是训练结束后的附属脚本。
它可以独立于某个具体 LLM 进行设计:
能力目标
→ 任务与数据
→ 被测系统接口
→ 对照组
→ Scorer / 测量方法
→ 统计与不确定性
→ 失败分析
→ 回归门禁
被测对象可以是 SFT、DPO、GRPO,也可以是规则系统或人工流程。
现成框架其实也不少:
- EleutherAI lm-evaluation-harness;
- Inspect AI;
- OpenCompass;
- Promptfoo。
这次手搓让我理解了它们背后的基本问题。如果后面要做长期通用评估平台,我会优先考虑复用框架,再把位置交换、个人评价协议和配对统计作为插件接入。
但框架不能替我回答"什么叫好"。
它也不能自动解决数据泄漏、人工偏好、未决样本和小样本不确定性。
九、现在能下的结论
这一轮实验没有证明 SFT、DPO 或 GRPO 中谁是最后赢家。
样本很小,主要集中在算术和多轮数值更新;人工标签也来自单一标注者,不能扩大成通用模型排名。
但它让我建立了一条更可信的证据链:
- loss 下降只说明优化目标正在被优化;
- 行为评估检查优化是否转化为任务表现;
- 双顺序检查评委是否稳定;
- 多评委检查结论是否依赖单一模型;
- 人工校准检查评价口径是否一致;
- bootstrap 防止把小样本胜率写成确定结论;
- 回归门禁保留证据边界。
我对评估第一性原理的理解,也变成了:
不是给模型打一个分数,而是在明确的能力定义和证据边界内,全面、科学、可复现、可对照地减少误判,并让结论能够追溯到具体证据。
全面不是测完所有能力,而是知道自己测了什么、没测什么。
科学也不是公式复杂,而是结论可以被复核,也允许被新证据推翻。
下一步,我准备做 Java 缺陷定位与最小修复的领域后训练。
这一次,我会先定义评估协议:数据隔离、定位正确、编译成功、测试通过、基线和通用能力保持,再开始训练。
因为没有可信评估,训练得再热闹,也很难回答那个最简单的问题:
模型到底变好了没有?
如果你对手搓 LLM 的完整过程感兴趣,也可以访问我的博客,查看本次实验的完整记录:手搓 LLM 笔记 27:I5 评估校准与回归基准自动化。