把员工自报的提效倍数,直接当成整个团队研发速度的倍数,是读这份报告最容易犯的错。
METR 在 11 月 5 日公布对 Anthropic 的评估,同一份材料既写到员工自报提效达到 12 倍,也写到模型能力指数的进步速度约为过去的 1.9 倍。
两个数字并不互相打架,因为它们没有测量同一个东西。
更容易误读的是,报告还讨论了进步加速有多少来自 AI,而这一层又不是直接测出来的事实。
下面把自报感受、指数趋势和因果判断拆开,再用一段能直接运行的代码检查其中的算术。
12 倍问的是员工感觉,不是团队产出
报告里的高倍数来自员工对自身提效的估计,并不是一组经过随机分配的对照实验。
Anthropic 在内部 Slack 发起投票,让员工用表情反应表达对当时最新模型的提效感受。
METR 明确把这种投票视为很松散的证据,因为回答者未必认真估算过自己的完整工作时间。
到十月,这组非正式自报达到约 12 倍,不能改写成公司已经交付了原来十二倍的研发成果。
写代码更快、实验开得更多、阅读材料更省事,都可能让个人感到工作发生巨大变化。
但这些变化能否穿过评审、排队、实验失败和协作等待,变成可验收成果,还需要另一组记录。
自报调查有价值,它能指出员工觉得哪些环节正在变化,却不能替代实际耗时与交付质量。
| 报告里的量 | 测量或判断对象 | 不能直接推出的结论 |
|---|---|---|
| 约 12 倍 | 非正式员工自报提效 | 团队交付速度同比翻十二倍 |
| 约 1.9 倍 | 能力指数进步斜率的变化 | 每项开发任务都快了同一倍数 |
| 或许约 80% | 研究者对当前加速来源的主观估计 | 已随机实验识别出因果比例 |
表格里的数字不能放进同一个排名,也不能相乘得到一个更惊人的总提效。
回答问卷的人、模型的能力指数和研究者的归因判断,连观察单位都不一样。
同一名工程师把重复劳动压缩了很多,团队仍可能卡在一个只能顺序执行的实验环节。
这并不证明他的自报错误,只说明个人任务速度不能不经转换就代表整个组织。
读到高倍数时,我会先找原文问了谁、问了什么,而不是先截走那张曲线图。
1.9 倍算的是能力指数斜率
METR 使用的 AECI 是 Anthropic 版本的能力指数,用来概括模型在一组基准上的表现。
报告比较了不同时间段的指数进步速率,转折点放在二〇二五年十月。
公开图中,较早趋势约为每年增加 15 个指数点,之后约为每年增加 29 个指数点。
这里的加速说的是单位时间内取得的指数进步变多,并不是模型总分变成过去的一点九倍。
报告对加速的估计为 1.9 倍,给出的 95% 置信区间是 1.5 到 2.8 倍。
这一区间描述所用估计方法下的统计不确定性,不替所有方法选择和外推假设承担责任。
报告还检查了纳入哪些基准、如何给模型定日期、如何处理饱和等不同分析选择。
这些稳健性分析得到的加速范围更宽,约为 1.1 到 2.9 倍,不能与前面的置信区间混写。
一个是同一估计周围的区间,另一个是换分析设置以后得到的结果范围。
这项区别会直接改变你对数字稳不稳的判断,而不只是统计术语上的讲究。
指数强调可清晰定义、可验证的任务,不能自动覆盖目标含糊、需求经常变化的真实项目。
报告也承认,模型基准的进步可能受分布过拟合或指数方法本身影响。
把它写成所有科研工作都已加速一点九倍,会把一个有范围的结果扩展成没有边界的断言。
更稳妥的读法,是保留指标名称、比较时期和不确定性,让读者知道这个倍数究竟修饰什么。
如此读来,这个结果依然重要,但不需要靠把适用范围放大来证明重要。
把能核对的算术单独跑一遍
原文还解释了线性指标和指数增长变量应该怎样理解加速,这一段适合用代码自查。
下面只用公开图里的舍入斜率,以及报告举出的指数增长示例,不需要安装第三方依赖。
代码计算的是单位与公式,不会下载内部模型数据,也没有重新拟合报告中的统计模型。
python
from math import log
old_points_per_year = 15
new_points_per_year = 29
slope_ratio = new_points_per_year / old_points_per_year
old_annual_multiple = 3
new_annual_multiple = 9
exponential_rate_ratio = log(new_annual_multiple) / log(old_annual_multiple)
print("rounded_slope_ratio:", round(slope_ratio, 4))
print("exponential_rate_ratio:", round(exponential_rate_ratio, 4))
本文代码实际运行输出为 rounded_slope_ratio: 1.9333,以及 exponential_rate_ratio: 2.0。
第一行结果来自新斜率除以旧斜率,检查的是每年增加多少指数点这个线性口径。
图中数字已经舍入,读者不能靠它精确重建原报告的拟合结果,更不能恢复置信区间。
第二行对应原文的另一个说明:某个量原来每年变为三倍,后来每年变为九倍。
原文把这叫作进步速度加倍,因为原来两年的乘积增长,现在一年就能走完。
这时要比较的是对数增长率,不能把九除以三,就宣布研发进步速度加快三倍。
同一个词换了数学定义,得到的倍数就会变化,因此表头必须把单位写全。
这段代码还刻意没有把员工自报的十二倍放进去,因为它不属于这两项计算。
能在程序里写出除法,不代表两个变量就具备可比较的分母。
把一个主观任务提效指标,除以一个能力指数加速指标,只会得到没有明确解释的数。
工程团队常犯类似错误,把代码生成量、完成工单量和上线成果塞进同一张效率图。
检查公式之前先检查变量定义,往往比换一种更复杂的统计方法更有用。
这也是这里保留短代码的原因:它帮助检查说法,不拿一段演示冒充独立复现实验。
排除了算力解释,仍没完成因果归因
报告认为,这次观察到的加速,不能用训练算力规模增长本身也在加速来解释。
这是针对一个候选解释的判断,不等于已经证明剩余变化全部由 AI 引起。
METR 还考察了招聘、数据改进、算法发现以及其他瓶颈变化等可能因素。
研究者认为,二〇二五年末的加速很可能受到了非 AI 因素的影响。
对于二〇二六年十月的当前加速,他们猜测多数、或许约八成来自 AI,但强调存在很大不确定性。
八成修饰的是当前加速的来源,不是说公司八成代码由模型生成,更不是八成员工可以被替代。
这是一个需要沿着原文主语读下去的比例,换了分母就换了结论。
采访和问卷与 AI 带来较大帮助的判断相容,却不构成随机对照意义上的因果识别。
熟练使用模型的人可能原本就更擅长拆解任务,组织也可能同期调整了实验资源分配。
这些是做因果分析时需要检查的混杂路径,并不是我对这家公司提出的已证实指控。
报告没有声称所有疑问都已解决,读者也不该替研究者写出更肯定的结论。
另一个容易被偷换的点,是辅助研究和完全自主研究的区别。
研究者被告知,当前研发加速主要来自 AI 辅助,而非完全自主作出的重大贡献。
报告讨论了自主贡献可能成熟的迹象,但迹象不能改写成已经无人成立并运行的研究部门。
对工程负责人来说,这意味着可以认真评估工具,却不能拿这份材料直接决定人员配置。
真正用于管理决策的证据,仍要能解释本团队的任务分布、质量要求和协作约束。
删节确实改变了公众能核对什么
这次评估在八月到十月进行,METR 获得了比公开材料丰富得多的内部信息。
但报告开头就披露,Anthropic 有权删节其中未公开的信息,并实际使用了这一权利。
许多对研究者结论很有帮助的证据没有完整公开,因此公众更依赖评估者的判断。
这一点不能藏在文章末尾的小字里,因为它会影响读者能做到哪一级复核。
看见公开图表,可以检查单位、比较时期和文字解释之间有没有矛盾。
看不到内部中间指标与完整分析细节,就无法独立验证所有归因和风险结论。
两种检查深度不同,不能因为前一种做得到,就宣称整份评估已经被外部完整复现。
报告还写明,评估者没有请求或获得对未公开模型进行抽样测试的权限。
他们分析了内部材料,并不等于公众现在也能调用相同模型,重跑相同测试。
METR 表示没有向 Anthropic 收取费用,但使用了对方提供的设备与免费模型额度。
这些安排需要如实披露;单凭某一项安排,不能推出报告必然虚假或必然独立可靠。
报告对瓶颈的描述也应按相同纪律阅读。
研究者没有发现足以阻挡近期继续进步的明确瓶颈,同时承认评估中多次改变过判断。
没有发现瓶颈,与证明瓶颈不存在,并不是同一种证据强度。
删节带来的正确反应,是降低自己能够验证的结论范围,而不是随意补出被删掉的故事。
我愿意引用公开的趋势估计,也会把无法独立核对的内部归因保留为有条件的判断。
带回自己的项目,验收字段得重写
这份报告适合提醒工程团队改测量方法,不适合直接当作采购工具后的收益承诺。
要验证一个助手是否真的帮上忙,至少先写清任务的开始状态和可接受的结束状态。
从工程师打开问题到合并可用修改,中间的审查与返工不应因为没有使用模型就被排除。
否则统计会偏向展示生成很快的环节,把修错成本藏到另一位同事的工时里。
记录工具使用情况时,也要保留任务类型、验收结果和等待原因,而不是只记一次总耗时。
同样是修改代码,补一个明确的小缺陷,与处理边界尚未澄清的需求,并不是同样的任务。
拿不同任务直接比较,就算算术全部正确,也可能是在比较难度而非工具带来的变化。
任务分配不随机时,报告结果应保留这种限制,不要把观察到的差异直接命名为因果提升。
个人对省时的感受仍可收集,但应单独放置,再与实际记录对照。
感受与记录不一致,往往能帮助找到被忽略的等待或返工,不必急着判谁在说谎。
涉及持续增长的指标,还要提前写明是在比较水平、增加的点数,还是增长率。
这些字段确定之后,才轮到计算倍数;不能先挑一个吸引人的数字,再倒推指标定义。
读完原文,我更关心本项目到底验收了什么,而不是下一张宣传图能不能超过十二倍。
一个能够说明失败任务、返工去向和比较边界的结果,比单独展示一个大倍数更便于做决定。
本文依据 METR 的《Independent Assessment of AI R&D Acceleration at Anthropic in October 2026》。
报告原文。
公开趋势、自报调查与主观归因均按原文区分;文中代码仅核对公开公式,不代表复现内部评估。