DPO loss 降了 75%,模型却没变好:我给手搓 LLM 补了一套评估系统

最近,我在给自己的手搓 LLM 项目补后训练。

做到 DPO 时,训练指标看起来非常舒服:

kotlin 复制代码
val loss:  0.628564 → 0.155683
val score: 1.3776   → 22.8115

loss 降了约 75%,偏好 score 也大幅上涨。

如果只看这两条曲线,我完全可以写一句:DPO 偏好优化取得了明显效果。

但把训练后的模型放到同一套行为测试里,结果却是:

复制代码
原始模型:30/32
DPO:     29/32

最终答案正确数没有提高,数值更新任务还少答对了一道。

这不是第一次提醒我:训练指标变好,不等于模型能力变好。

SFT 时,我见过格式学会以后,名字记忆出现回退;GRPO 里,我也见过奖励和概率比都发生了变化,但一次更新并不能证明稳定收益。

所以我停下来,给项目补了一套评估系统。

这篇文章记录的就是这个过程:从行为对照、LLM 评委、位置与长度偏见,到多评委校准和 paired bootstrap。

先说结论:

训练回答"怎样让模型变好",评估回答"凭什么说它变好了"。

没有可信评估,后训练只能证明参数发生了变化,不能证明能力朝着目标发生了变化。

一、先别急着看 loss,把模型放到同一套题里

我使用的是 Qwen3-0.6B,评估集是 32 条受控 CoT 样本,包含单轮算术和多轮数值更新。

四个模型使用相同题目和评估口径:

模型 最终答案正确 完整 CoT 平均生成 tokens
原始模型 30/32 32/32 163.1
CoT-SFT v2 29/32 32/32 139.4
DPO v1 29/32 32/32 153.2
GRPO 单组更新 30/32 32/32 141.7

这组结果比单独看 loss 有用得多。

它说明不同方法优化的其实是不同侧面:

  • CoT-SFT 输出更短,但最终正确率没有提高;
  • DPO 学到了偏好关系,输出有所缩短,正确率仍未提升;
  • GRPO 这次回到 30/32,但只有一组、一次更新;
  • 原始模型依然很强,尤其在最终答案正确性上。

所以 DPO 的 loss 下降到底说明了什么?

它说明模型正在优化我定义的偏好目标,不说明这个目标已经完整代表了我关心的能力。

Loss 是训练过程的代理指标,不是能力结论。

二、规则能判断对错,却不能完整判断质量

最开始的评估很简单:

复制代码
最终数字是否正确
CoT 标签是否完整
最终答案是否符合格式
是否自然结束

这些规则很有价值,尤其适合算术和结构化输出。

但规则评估有一个明显边界:两个回答都通过时,只能记成平局。

比如下面两条回答:

  • A:最终答案正确,计算过程可靠;
  • B:最终答案也正确,但多了一种正确、非重复的独立验算。

规则会认为它们都 passed。

可我认为 B 的推理质量更高,因为它提供了一种额外的验证路径。

反过来,如果 B 只是反复复述"用户要求只输出数字""现在需要注意格式""最后不要添加解释",那它只是更长了,并没有增加有效信息。

因此我需要一种成对比较:

css 复制代码
同一道题
回答 A
回答 B
参考答案
评价规则
→ A 获胜 / B 获胜 / tie

人工判断时,我还要求记录原因:

复制代码
correctness:最终答案和历史状态是否正确
instruction:是否遵循明确指令
reasoning :推理是否可靠,是否有有效独立验算
clarity   :有效信息密度、重复和表达质量

这样后面出现人机分歧时,我能知道分歧发生在哪一层,而不是只看到一个不同的标签。

三、LLM 评委也需要被评估

接入 LLM 评委后,下一个问题是:评委自己的结果可信吗?

我最先检查的是位置偏见。

假设甲是正确回答,乙是错误回答。

第一次:

ini 复制代码
A = 甲
B = 乙
评委选 A

交换位置以后:

ini 复制代码
A = 乙
B = 甲
评委选 B

虽然两次选择的字母不同,但两次都选择了甲,所以内容判断是一致的。

真正有问题的是两次都选 A:

复制代码
第一次:选中了甲
第二次:选中了乙

回答内容没有变化,只是交换了位置,评委的选择却从甲变成了乙。

这里最容易算错的一点是:交换位置后,必须先把字母还原成原始回答身份,再比较两次结论。

核心逻辑只有几行:

python 复制代码
def canonicalize_winner(winner, swapped=False):
    if not swapped or winner == "tie":
        return winner


    return {
        "A": "B",
        "B": "A",
    }[winner]

然后分别处理:

css 复制代码
两次还原后相同
→ consistent
两次还原后不同,但有一次是 tie
→ position_sensitive,保留未决
两次还原后明确从 A 变成 B,或从 B 变成 A
→ decisive_flip

如果两次没有形成共同结论,我记录 consensus_winner=null。

不能擅自改成平局,也不能只挑其中一次看起来合理的结果。

这一步让我意识到:一个评委返回了格式正确、解释合理的答案,不代表它已经通过了可靠性验收。

四、多评委一致,也不等于与人工一致

我分别接入了 DeepSeek 和 Qwen4 Max,让它们使用相同的盲评材料、评价规则和双顺序流程。

第一轮 8 对样本用于开发协议,随后我又创建了 10 对全新 held-out,覆盖:

复制代码
正确性门槛
有效独立验算
无效填充
实质等价
指令遵循

先由人工标注,再运行冻结的评委 prompt,避免边看 AI 结果边改人工答案。

held-out 的结果如下:

10 对 held-out DeepSeek Qwen4 Max
双顺序一致 6 10
位置敏感 4 0
明确胜负翻转 2 0
与人工一致 4 6
与人工稳定分歧 2 4
无共识、未决 4 0

这组数据很有意思。

Qwen 在当前样本上更稳定,但稳定不等于完全符合人工标准。

它的 4 对分歧全部是稳定给出 tie。也就是说,它不是一会儿选 A、一会儿选 B,而是稳定地认为某些差异不足以分出胜负。

DeepSeek 则在正确性和指令遵循样本上各出现了一次明确胜负翻转。相比一般的表达偏好,这类不稳定更需要进入回归报告。

两个评委都有明确共识的 6 对,结论全部相同。

但即使多个评委彼此一致,也仍然可能共同偏离人的评价口径。

所以这三件事必须分开:

复制代码
双顺序稳定
多个评委一致
与人工标准一致

它们不是同义词。

另外,不同评委的推理模式和输出预算也需要记录。Qwen 曾因输出预算耗尽而返回空内容,提高预算后才正常给出判断。因此这些原始计数不能被包装成两个模型之间严谨的普遍能力排名。

五、长度变长,可能有效,也可能只是填充

为了单独检查长度影响,我又做了四组控制实验:

条件 DeepSeek Qwen4 Max
完全重复 稳定 tie 稳定 tie
无效填充变长 简洁版获胜 → tie,未决 稳定选择简洁版
有效验算变长 稳定 tie 稳定 tie
错误且冗长 稳定选择正确简洁版 稳定选择正确简洁版

在这四组条件里,没有任何双顺序共识选择更长回答。

但这不代表长度问题已经解决了。

更有意思的是,两个评委都把"增加正确独立验算"判成了平局。它们承认验算正确,却认为这不足以构成实质差异。

而我会选择有独立验算的一方。

这让我意识到,真正需要校准的不只是长度,还有:

一项额外信息,什么时候算有效增量,什么时候只是重复?

于是我进一步明确了自己的三层评价标准:

复制代码
第一层:任务结果
最终答案、历史状态、明确指令遵循
第二层:推理质量
推理可靠性、历史解释、有效独立验算
第三层:信息密度
有效信息、重复、空话、简洁程度

前一层已经能够分出高下,就不让后一层翻盘。

简洁但错误,不能靠表达战胜正确回答;双方都正确且合规时,有效验算可以提高推理质量;推理质量也相同时,才比较谁更简洁有效。

这套标准是我的个人偏好,不是所有人都必须同意的答案。但评估系统必须先明确"什么叫好",才能讨论评委是否对齐。

六、有了胜率,还要表达不确定性

即使有了行为对照,我仍然不能直接根据 32 道题的胜负宣布哪个模型更好。

例如:

ini 复制代码
original vs DPO
wins=1
losses=0
ties=31

DPO 看起来少输了一次,但这只有一道非平局样本。

于是我给对照加上了 paired bootstrap。

重采样单位是 case,而不是分别抽左右模型的回答。每次抽中一道题,就同时保留两个模型在这道题上的结果。

定义:

ini 复制代码
win_rate_all = wins / 全部 case 数
net_win_rate = (wins - losses) / 全部 case 数

重复重采样 2000 次,取 2.5% 和 97.5% 分位数,得到 95% 区间。

其中三组相对原始模型的结果是:

对照 W/L/T net 95% CI
original vs CoT-SFT v2 2/1/29 +0.03125 -0.0625, +0.15625
original vs DPO v1 1/0/31 +0.03125 0, +0.09375
original vs GRPO 单组更新 1/1/30 0 -0.09375, +0.09375

六组模型对照最终全部为:

复制代码
inconclusive

也就是当前证据不足。

original vs DPO 的区间下界虽然等于 0,我仍然没有把它判成提升。

点估计为 0,也不代表两个模型等效。

32 道题里,每变化一道题,就是 3.125 个百分点。只有极少数题目分出胜负时,区间自然很宽。

bootstrap 没有创造新证据,只是把原本藏在点估计后面的不确定性展示出来。

七、把评估做成可以重复运行的工程

最后,我把这些评估过程接成了自动化链路:

复制代码
固定数据与参考答案
→ 生成回答
→ 规则评估
→ 成对 LLM 评委
→ AB/BA 双顺序
→ 人机一致性统计
→ paired bootstrap
→ 回归门禁
→ 汇总报告

工程中保留了几条约束:

  • 生成与评分分离;
  • prompt 有版本;
  • 输入文件有哈希;
  • 原始评委输出落盘;
  • 有效顺序断点续跑,不重复请求;
  • 人工标签不能被导出器覆盖;
  • unresolved 不参与共识胜率,但仍出现在总报告;
  • 产物有效与能力结论分开。

最终 I4 的门禁状态是:

ini 复制代码
artifact_status=pass
regression_detected=False
evidence_status=inconclusive

退出码为 0,只表示产物有效且没有检测到明确回退。

不表示后训练模型已经通过能力验收,也不表示模型等效。

统一报告的最后状态是:

复制代码
artifacts_valid_capability_inconclusive

我挺喜欢这个不太"漂亮"的结果。

它没有为了 CI 变绿,把证据不足改成通过。

整个项目最后跑了一次完整测试:

复制代码
173 passed in 594.64s

但即使 173 个测试全部通过,也不能替代模型能力评估。工程正确性和模型能力结论,依然是两件事。

八、评估是一套独立的工程体系

做完这一轮以后,我越来越觉得,评估不是训练结束后的附属脚本。

它可以独立于某个具体 LLM 进行设计:

复制代码
能力目标
→ 任务与数据
→ 被测系统接口
→ 对照组
→ Scorer / 测量方法
→ 统计与不确定性
→ 失败分析
→ 回归门禁

被测对象可以是 SFT、DPO、GRPO,也可以是规则系统或人工流程。

现成框架其实也不少:

  • EleutherAI lm-evaluation-harness;
  • Inspect AI;
  • OpenCompass;
  • Promptfoo。

这次手搓让我理解了它们背后的基本问题。如果后面要做长期通用评估平台,我会优先考虑复用框架,再把位置交换、个人评价协议和配对统计作为插件接入。

但框架不能替我回答"什么叫好"。

它也不能自动解决数据泄漏、人工偏好、未决样本和小样本不确定性。

九、现在能下的结论

这一轮实验没有证明 SFT、DPO 或 GRPO 中谁是最后赢家。

样本很小,主要集中在算术和多轮数值更新;人工标签也来自单一标注者,不能扩大成通用模型排名。

但它让我建立了一条更可信的证据链:

  • loss 下降只说明优化目标正在被优化;
  • 行为评估检查优化是否转化为任务表现;
  • 双顺序检查评委是否稳定;
  • 多评委检查结论是否依赖单一模型;
  • 人工校准检查评价口径是否一致;
  • bootstrap 防止把小样本胜率写成确定结论;
  • 回归门禁保留证据边界。

我对评估第一性原理的理解,也变成了:

不是给模型打一个分数,而是在明确的能力定义和证据边界内,全面、科学、可复现、可对照地减少误判,并让结论能够追溯到具体证据。

全面不是测完所有能力,而是知道自己测了什么、没测什么。

科学也不是公式复杂,而是结论可以被复核,也允许被新证据推翻。

下一步,我准备做 Java 缺陷定位与最小修复的领域后训练。

这一次,我会先定义评估协议:数据隔离、定位正确、编译成功、测试通过、基线和通用能力保持,再开始训练。

因为没有可信评估,训练得再热闹,也很难回答那个最简单的问题:

模型到底变好了没有?


如果你对手搓 LLM 的完整过程感兴趣,也可以访问我的博客,查看本次实验的完整记录:手搓 LLM 笔记 27:I5 评估校准与回归基准自动化。

相关推荐
程序员cxuan11 分钟前
推荐 10 个 WorkBuddy 中的邪修用法
人工智能·后端·程序员
花椒技术13 分钟前
数字人为什么突然爆发?从 H3 Max Lip Sync 看生成式数字人的临界点
人工智能·aigc
初学AI的小高15 分钟前
VFM:让 Agent 同时接受上千条自然语言规则的运行时检查
人工智能
我si绝版23 分钟前
OpenClaw 安装步骤
人工智能
Seiran26 分钟前
用Grok 4.7在ZEEKEAI啃长文档的提效实战
人工智能
Bacon29 分钟前
给项目做一次"全身 CT":Agent Skills 生态里的代码体检全链路
前端·人工智能·后端
培培说证31 分钟前
大专商务数据分析与应用可以报考哪些职业证书?
人工智能·数据挖掘·数据分析
pursuit_c34 分钟前
关于 Personal Agent 的思考碎片
人工智能
龙腾AI白云40 分钟前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱