榜单换个算法就洗牌:不是模型退步,是名次没有分辨率

综合热榜上挂着两条:「排名算法一变,国产模型全部滑铁卢」,一万两千阅读、八十七条评论;另一条是「Qwen4 被嘲笑了」,八千阅读。

最容易想到的归因是:模型不行了。

这个归因跳过了一步。榜单上的名次不是测出来的,是算出来的。换一个算法就换一批名次,说明的是这个函数敏感,不是被测对象退步。

我把这笔账拆开跑了一遍。

名次是聚合函数的输出

构造一组数据:10 个模型,6 个维度(数学、代码、长上下文、指令跟随、工具调用、中文),每个模型有一个基础分加一组偏科偏移。头部压紧到 3 分以内------真实榜单的头部就是这个形态,前几名挤在几分里。数字是我构造的,形态不是。

同一批分数,换六种聚合口径:

模型 算术平均 z-score min-max 几何平均 去极值 Borda 跨度
A 6 6 6 6 6 6 0
B 2 2 2 2 1 3 2
C 1 1 1 1 2 1 1
D 4 4 4 4 5 2 3
E 3 3 3 3 3 4 1
F 5 5 5 5 4 5 1
G 7 7 7 7 7 7 0
H 8 9 9 8 9 9 1
I 9 8 8 9 8 8 1
J 10 10 10 10 10 10 0

看 D 那一行:算术平均第 4,Borda 第 2,去极值第 5。三个名次,一份分数,一个字没改。

Borda 是先按每个维度排名,再对名次取平均。它丢掉幅度只留次序------在一维上领先 0.1 分和领先 8 分,权重一样。口径一换,D 往前跳两格。

六种口径给出两个不同的第一名。这是同一批数据。

为什么口径一换就翻,看各维的分差就清楚了:

维度 极差 标准差
数学 17.0 5.05
代码 17.0 5.84
长上下文 21.2 5.97
指令跟随 19.0 6.15
工具调用 12.6 3.93
中文 15.8 4.96

min-max 归一化是按各维极差缩放的,缩完再平均,等价于给每个维度一个和极差成反比的权重:工具调用 22.0%、长上下文 13.1%,而算术平均是各 16.7%。

反直觉的地方在这儿:分差最小的「工具调用」拿到了最大权重。因为它极差只有 12.6,除下去被放大。所有人在这维上挤成一团,这一维反而成了决定名次的那一维。

最容易想到的反驳是:那就统一用算术平均,大家不就一致了。可以,但算术平均等价于给六个维度各 1/6 的权重,这个权重本身是个选择,不是发现。

换测试集比换权重狠得多

我给权重加了 ±20% 的随机扰动,跑 2000 次,算术平均的第一名只丢掉 0.2% 的第一。头部其实挺稳。

真正让榜单洗牌的是换维度。每次删掉一个维度重算:

ini 复制代码
删「数学」      第一名 = B   (C=90.80 B=91.80 D=90.20)
删「代码」      第一名 = B   (C=91.20 B=91.40 D=89.80)
删「长上下文」  第一名 = C   (C=91.20 B=89.40 D=88.20)
删「指令跟随」  第一名 = C   (C=91.60 B=89.80 D=88.60)
删「工具调用」  第一名 = C   (C=92.00 B=89.80 D=89.80)
删「中文」      第一名 = D   (C=90.00 B=90.20 D=90.60)

三种答案。D 的名次在六种维度集里依次是 4、4、6、4、4、1------跳了五格,模型一分没变。

这就是「算法一调,排名全滑铁卢」的真实机制:不是模型退步,是测试集换了,被换掉的那一维恰好是某个模型的主场。

顺便看单维第一:代码维第一是 A,A 的综合排名第 6;数学维第一是 F,F 综合第 5。偏科在综合榜里被平均抹平。所以「某模型某项 SOTA」和「某模型综合第 8」可以同时为真,都不算撒谎。

名次还有个分辨率下限

上面说的是口径依赖。更基础的问题是:名次本身能分辨多细。

Elo 榜上,胜率 p 的标准误是 sqrt(p(1-p)/n),n 是配对局数。要 95% 置信地说「A 比 B 强」,胜率差得超过 1.96 倍标准误。反解出来,n 局能分辨的最小 Elo 差:

配对局数 可分辨胜率 Elo 差 折算名次
50 63.4% 95 6.3 位
100 59.6% 68 4.5 位
200 56.9% 48 3.2 位
500 54.4% 30 2.0 位
1000 53.1% 22 1.4 位
2000 52.2% 15 1.0 位

末列是按「前 10 名总跨度 150 Elo、平均间距 15 Elo」折算的,这个跨度是量级假设,不是某家榜单的实测值,换个假设数值会变,但表的形状不变。

要分辨 15 Elo,每个配对至少 2060 局。

反过来算更有用。想分辨多少 Elo,就得准备多少局:

想分辨 每配对局数
10 Elo 4636
20 Elo 1159
30 Elo 514
50 Elo 185
100 Elo 46

你要说「A 比 B 强」,先算清楚你说的是多少 Elo 的强。差 100 Elo 是能分辨的,差 10 Elo 要将近五千局------没人在补测的时候告诉你这个数。

也就是说:跑 200 局的榜只能分辨 3 位以上的差距。第 5 名和第 8 名之间的差距,在 200 局下是噪声。评论区争的那两位,统计上分不出来。

最麻烦的是不可传递

如果只是分辨不出,多跑几局就行。但胜率还有个性质:不能传递。

三个模型,6 个维度:

css 复制代码
阿 [10, 10,  1,  1, 9.5, 9.5]
贝 [ 8,  8, 10, 10,   1,   1]
西 [ 6,  6,  9,  9,  10,  10]

两两对决,每个都是 4:2:

rust 复制代码
阿 vs 贝: 4 胜 2 负 -> 阿 赢
贝 vs 西: 4 胜 2 负 -> 贝 赢
西 vs 阿: 4 胜 2 负 -> 西 赢

循环。而算术平均给出:西 8.33 > 阿 6.83 > 贝 6.33。平均分第一的西,正面对决输给阿。

这不是我构造得刁钻。Condorcet 在 1785 年就证明了:多数票聚合可以产生循环,此时不存在一个能同时满足所有两两结论的一维排序。只要各维度不完全相关,循环就有机会出现。

所以「第一名」这个位置不是良定义的。它是某个函数在某个维度集上的投影。

自己的评测也一样

榜单的问题会原样出现在自己的评测里,只是没人指出来。

10 道题跑 4 次,40 个样本,通过 35 个,通过率 87.5%。这个数看着能拿去汇报。

它的 95% 区间是 73.9% 到 94.5%,半宽 10 个百分点。真实能力可能在 74%,也可能在 94%,你自己不知道落在哪。要把半宽压到 3 个百分点,样本量得铺到 400。

python 复制代码
import math

def wilson(k, n, z=1.96):
    p = k / n
    d = 1 + z * z / n
    c = (p + z * z / (2 * n)) / d
    h = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / d
    return c - h, c + h

报 87.5% 的时候后面跟一句「±10pp」,比报一个带两位小数的均值有用得多。前者告诉你这个结论能撑多重,后者只告诉你算过。

读榜的三条规则

一、先找对局数和置信区间,再看名次。 没有对局数的榜,名次只能当序数看:「第 3」意味着排在两个前面,不意味着比第 4 强多少。

二、只信超过 2 个标准误的结论。 n=200 是 57%,n=500 是 54.4%。低于这个差距的名次,按并列处理。

三、自己评测时报分布,不报均值。 同一个 prompt 跑 5 次,把 5 次的通过区间报出来。均值会把方差藏起来,而方差才是上生产后真正遇到的东西。

最后

榜单没骗人,它老实回答了一个你不会问的问题:在它选的那几个维度、那个权重、那个对局数下,谁排在前面。

你要问的是另一个问题:在我这套任务上,谁能干完。

这两个问题之间隔着一个函数。函数得你自己写。

相关推荐
Baihai_IDP1 小时前
大模型 API 真的在赔本赚吆喝吗?聊聊 Token 背后的真实成本
人工智能·llm·aigc
xyphf_和派孔明3 小时前
第六章: AI Agent长期记忆的存储引擎介绍
langchain·llm·agent
xyphf_和派孔明3 小时前
第四章: AI Agent短期记忆的信息管理机制设计
langchain·llm·agent
mengrennwpu6 小时前
Kynvio: 新一代办公助手
llm·agent
Baihai_IDP7 小时前
使用场景不同,模型“推理速度慢”的原因也不同
人工智能·面试·llm
用户95179422510291 天前
Agent Harness 工程(I5):权限与沙箱——让否决改变控制流
llm·agent
泯泷2 天前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
泯泷2 天前
当"孤独的开发者"成为常态,AI正在悄悄杀死那个我们熟悉的互联网
人工智能·chatgpt·llm
泯泷2 天前
给你一个免费的20人 AI 团队,你的胜算真的变大了吗?
人工智能·llm