核心结论
Diogo在其文章《Scaling Laws, Honestly》中揭示的Kaplan et al. (2020)原始Scaling Law的技术缺陷------固定训练Token数和学习率衰减策略导致的"参数越大越好"错误结论------确实是历史事实，但绝非2026年的新发现 。DeepMind的Chinchilla论文于2022年3月就已系统性地纠正了这一问题，提出了著名的"20:1 Token/参数最优比" (Complete Skeptic) 。此后行业迅速转向：Meta的LLaMA系列（2023）率先实践Chinchilla原则，LLaMA-3（2024）将Token/参数比推至1875:1 (Life Architect) ；OpenAI的GPT-4（2023）采用8×220B的MoE架构 (Exploding Topics) ，o1（2024）则开创了推理时计算（test-time compute）的全新范式 (arXiv.org) 。所谓的"bug误导行业五年"是一个严重的时间压缩叙事------实际影响窗口仅为2020年初至2022年初的约两年时间，而非Diogo文章标题暗示的整整五年。这篇博客更像是一份迟到的历史复盘，而非开创性的技术揭露。
1. 第一阶段：Kaplan Scaling Laws（2020）------"越大越好"的理论基础
1.1 原始发现与核心结论
2020年1月，OpenAI的Jared Kaplan、Sam McCandlish、Tom Henighan等人发表了里程碑论文《Scaling Laws for Neural Language Models》 (arXiv.org) 。该研究系统性地探索了语言模型性能随模型参数量（N）、训练数据量（D）和计算量（C）的幂律关系，提出了以下核心公式：
其中 L 为损失函数，E 为不可约误差，\\alpha \\approx 0.073，\\beta \\approx 0.095。基于这些指数，Kaplan等人推导出的关键结论是：在固定计算预算下，模型参数量应按 C\^{0.73} 增长，而训练Token数仅按 C\^{0.27} 增长 (arXiv.org) 。这意味着当计算预算增加10倍时，模型应该增大约5.4倍，而数据只需增加约1.9倍。这一结论的直观推论是"模型越大越好"------对于任何给定的计算预算，都应该优先将资源投入增大模型规模，而非增加训练数据。
图1：LLM训练范式演变------从"欠训练"到"计算最优"再到"推理最优"。数据点大小对应模型参数量，红线为Chinchilla最优比（20:1）。
这一发现对GPT-3（2020年5月发布）的训练决策产生了直接影响。GPT-3拥有1750亿参数，但仅在约3000亿Token上训练，Token/参数比仅为1.7:1 (博客园) 。按照Chinchilla后来的标准，GPT-3的训练数据量至少应该达到约3.5万亿Token------是它实际使用的10倍以上。Gopher（2021年12月，DeepMind）走得更远：2800亿参数仅训练3000亿Token，Token/参数比低至1.1:1 (arXiv.org) 。
1.2 技术缺陷的根源
Diogo文章的核心技术洞察是正确的------Kaplan et al.的实验设计存在系统性缺陷 (Complete Skeptic) 。具体来说：
第一，固定训练Token数。 Kaplan等人对所有规模的模型使用了相同的约1300亿Token训练量。这导致了一个明显的悖论：一个1亿参数的小模型训练1300亿Token，相当于每个参数"看到"了1300个Token；而一个1000亿参数的大模型同样只训练1300亿Token，每个参数仅"看到"1.3个Token (Complete Skeptic) 。小模型实际上被"过度训练"了，而大模型则被严重"欠训练"。在固定的Token预算下，更大的模型永远无法充分展示其容量优势。
第二，学习率衰减策略的误导。 Kaplan等人采用了cosine学习率衰减，在训练接近目标Token数时学习率逐渐降至零。这意味着当训练结束时，学习已经"停止"------即使模型仍有改进空间 (Complete Skeptic) 。这种策略人为制造了"训练饱和"的假象：如果所有模型都在相同的Token数上停止学习，那么无论模型多大，看起来都在同一时间点达到了性能平台。Chinchilla后来证明，如果使用恒定的学习率并增加训练Token数，大模型会持续改进，性能差距会显著拉大 (arXiv.org) 。
1.3 "Bug"的实际影响范围
将Kaplan Scaling Laws的缺陷称为"bug"在技术上是恰当的，但其影响范围需要精确界定。GPT-3的决策（2020年5月）和Gopher的决策（2021年12月）确实受到了这一"bug"的影响 (博客园) 。然而，值得注意的是，即使在Kaplan et al.的论文中，作者也明确指出他们的结论"基于给定的最大Token数"，并承认这"不适用于真正的无限数据极限" (Complete Skeptic) 。换言之，原始论文的局限性在其发表时就已被部分认识到，只是行业在当时缺乏更好的替代方案。
| 模型 | 发布时间 | 参数量 | 训练Token数 | Token/参数比 | 与Chinchilla最优比的偏差 |
|---|---|---|---|---|---|
| GPT-3 | 2020-05 | 175B | 300B | 1.7:1 | 欠训练约 12× (博客园) |
| Gopher | 2021-12 | 280B | 300B | 1.1:1 | 欠训练约 18× (arXiv.org) |
| Chinchilla | 2022-03 | 70B | 1.4T | 20:1 | ✓ 计算最优 (arXiv.org) |
| LLaMA-65B | 2023-02 | 65B | 1.4T | 21.5:1 | 接近最优 (Michael Brenndoerfer) |
| LLaMA-2-70B | 2023-07 | 70B | 2T | 28.6:1 | 略超最优 (稀土掘金) |
| GPT-4 | 2023-03 | ~1.8T (MoE) | 未公开 | N/A | MoE架构 (Exploding Topics) |
| LLaMA-3-8B | 2024-04 | 8B | 15T | 1875:1 | 推理最优 (Life Architect) |
| Gemma-7B | 2024-06 | 7B | 6T | 857:1 | 推理最优 (arXiv.org) |
表1：关键模型的训练配置对比。Chinchilla（2022）后，行业迅速从"欠训练"转向"计算最优"乃至"推理最优"。
2. 第二阶段：Chinchilla（2022）------纠正与范式转向
2.1 Chinchilla的核心发现
2022年3月，DeepMind的Jordan Hoffmann、Sebastian Borgeaud等人发表了《Training Compute-Optimal Large Language Models》，通常被称为Chinchilla论文 (arXiv.org) 。这项研究训练了超过400个模型（参数量从7000万到160亿），系统性地探索了模型规模与训练数据量的最优分配。
Chinchilla的核心发现与Kaplan Scaling Laws截然不同：在固定计算预算下，模型参数量与训练Token数应按大致相等的比例增长------即 N_{opt} \\propto C\^{0.5} 和 D_{opt} \\propto C\^{0.5} (arXiv.org) 。这导出了著名的"20:1 Token/参数比 "法则：每个模型参数应约对应20个训练Token。基于这一原则，Chinchilla-70B（70亿参数，1.4万亿Token）在与Gopher-280B（280亿参数，3000亿Token）相近的计算预算下，性能全面超越了后者 (arXiv.org) 。
图2：2020-2025年LLM训练范式演变关键里程碑。三个阶段清晰可辨：Kaplan时代（越大越好）、Chinchilla时代（20:1最优）、推理时计算时代（test-time compute）。
2.2 Chinchilla对Kaplan的修正机制
Chinchilla之所以能够纠正Kaplan的结论，关键在于其实验设计解决了前述两个技术缺陷 (Complete Skeptic) ：
第一，解除固定Token数的束缚。 Chinchilla为不同规模的模型训练了不同数量的Token------小模型训练较少Token，大模型训练更多Token。这使得每个规模的模型都能在与其容量匹配的"充分训练"状态下进行评估，从而真正揭示"给定计算预算下最优的模型/数据分配"是什么。
第二，恒定的学习率调度。 Chinchilla使用了不强制在固定Token数处归零的学习率策略。这使得模型能够持续学习，直到真正达到收敛------而非被人为地提前截断 (Complete Skeptic) 。DeepMind的研究人员后来指出，Kaplan et al.如果将其最大规模模型训练到更多Token，"性能曲线将在达到Scaling Law的Pareto前沿之前就被截断" (arXiv.org) 。
2.3 学术界的快速验证
Chinchilla的结论在发表后迅速得到了独立验证。2024年4月，Epoch AI的Besiroglu等人发表了对Chinchilla的复制研究，发现最优Token/参数比约为25.6:1 ------与Chinchilla的20:1高度一致 (arXiv.org) 。同年6月，Microsoft Research和MIT的Pearce & Song发表论文《Reconciling Kaplan and Chinchilla Scaling Laws》，指出Kaplan与Chinchilla的差异主要源于参数计数方式的不同（Kaplan只计算非嵌入参数，且在小规模上拟合） (arXiv.org) 。2024年，Porian等人进一步证实，在纠正了最后一层FLOPs、warmup调度和规模相关超参数后，Kaplan和Chinchilla的预测实际上"相当接近" (arXiv.org) 。
3. 第三阶段：行业全面转向（2022-2024）
3.1 LLaMA系列：Chinchilla原则的首个大规模实践
Meta的LLaMA系列是Chinchilla Scaling Law从理论走向实践的最重要案例。2023年2月发布的LLaMA-65B拥有650亿参数，训练了1.4万亿Token，Token/参数比为21.5:1 ------几乎完美遵循Chinchilla的20:1法则 (Michael Brenndoerfer) 。这一决策的底层逻辑非常清晰：与其像GPT-3那样用1750亿参数训练3000亿Token，不如用更小的模型训练更多数据，在达到相似性能的同时大幅降低推理成本。
LLaMA-2（2023年7月）进一步将这一原则发扬光大。LLaMA-2-70B训练了2万亿Token，Token/参数比达到28.6:1 (稀土掘金) 。Meta在LLaMA-2的技术报告中明确将Chinchilla Scaling Law作为训练策略的核心理论依据 (Michael Brenndoerfer) 。到了2024年4月的LLaMA-3，Meta做出了更加激进的决策：LLaMA-3-8B仅在80亿参数上训练了15万亿Token ，Token/参数比高达1875:1 (Life Architect) 。这一配置远超Chinchilla的计算最优比，进入了"推理最优"（inference-optimal）区域------以更高的训练计算成本换取更低的推理成本和更好的部署性能。
| 年份 | 模型/研究 | 核心创新 | Token/参数比 | 范式标签 |
|---|---|---|---|---|
| 2020 | Kaplan et al. | 首个系统Scaling Law | 1.7:1 (GPT-3) | "越大越好" |
| 2022 | Chinchilla | 20:1最优比 | 20:1 | 计算最优 |
| 2023 | LLaMA-65B | 开源Chinchilla实践 | 21.5:1 | 计算最优 |
| 2023 | GPT-4 | 8×220B MoE | N/A | 稀疏激活 |
| 2024 | LLaMA-3-8B | 15T Token超量训练 | 1875:1 | 推理最优 |
| 2024 | Sardana & Frankle | 推理成本纳入Scaling Law | N/A | 推理最优理论 |
| 2024 | Snell et al. | Test-time compute scaling | N/A | 推理时计算 |
| 2024 | OpenAI o1 | 推理模型/长CoT | N/A | 推理时计算 |
| 2025 | DeepSeek-R1 | 纯RL推理 | N/A | 推理时计算 |
表2：2020-2025年Scaling Law关键演变节点。从"欠训练"到"计算最优"再到"推理最优"和"推理时计算"，行业在四年间经历了三次范式转换。
3.2 GPT-4的MoE架构：另一条效率之路
OpenAI在GPT-4（2023年3月）上的选择同样印证了这一转向趋势，尽管方式不同。据George Hotz、Soumith Chintala（PyTorch联合创始人）等多方消息来源，GPT-4采用了8×220B参数的Mixture of Experts（MoE）架构------总参数量约1.76万亿，但每次推理仅激活约220-440亿参数 (Exploding Topics) 。MoE的本质是一种"稀疏激活"策略：用巨大的总参数量存储知识，但只在推理时调用其中一小部分，从而在保持强大能力的同时控制推理成本。
这一设计与Chinchilla的"小模型+多数据"路线殊途同归------都是在追求"给定性能目标下的最低推理成本"。GPT-4没有走Chinchilla的"密集小模型"路线，而是走了MoE的"稀疏大模型"路线，但底层目标是一致的：不再盲目追求密集参数规模，而是通过架构创新实现效率优化。
3.3 Google的Gemma与推理最优Scaling Law
Google的Gemma系列同样遵循了这一趋势。Gemma-7B（2024年）训练了6万亿Token ，Token/参数比达到857:1 (arXiv.org) 。更值得注意的是2024年1月Sardana和Frankle（来自MosaicML/DBRX团队）发表的论文《Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws》 (raw.githubusercontent.com) 。该研究正式将推理成本纳入Scaling Law框架 ，证明了在高推理需求场景下，训练比Chinchilla建议的更小模型、更多Token才是总成本最优的。他们的分析显示，对于一个7B-Chinchilla质量的模型，如果推理需求达到 10\^{11} Token，最优策略是训练一个6B参数模型、使用1.18倍的数据量，可将总FLOPs降低显著比例 (raw.githubusercontent.com) 。
4. 第四阶段：Test-Time Compute新范式（2024-2025）
4.1 从训练时计算到推理时计算
2024年9月，OpenAI发布了o1模型，标志着AI行业进入了Scaling Law的第四个阶段------推理时计算（test-time compute / inference-time scaling） (arXiv.org) 。o1的核心创新在于：不再仅仅通过扩大模型规模或增加训练数据来提升性能，而是让模型在回答问题时"思考更长时间" ------生成长链推理（Chain-of-Thought，CoT），进行多步验证和自我修正 (arXiv.org) 。
这一范式的理论基础来自DeepMind（Google）2024年8月的论文《Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters》 (arXiv.org) 。作者Charlie Snell、Jaehoon Lee等人系统性地证明，通过最优地分配推理时计算（如多次采样、逐步验证、束搜索），一个较小的模型可以匹敌比它大14倍的模型 (Github) 。具体而言，对于简单问题，"修订"策略（模型迭代改进自己的答案）最有效；对于复杂问题，"搜索"策略（模型探索多条推理路径并用验证器选择最佳路径）最有效 (EulerFold) 。
4.2 o1、o3与DeepSeek-R1：推理模型的工程实践
OpenAI o1在AIME 2024数学竞赛上的表现清晰地展示了推理时计算的威力：GPT-4o平均得分12%，o1（单样本贪婪解码）达到74%，o1配合64样本多数投票达到83%，而配合1000样本重排序更是达到93% (arXiv.org) 。这意味着通过在推理时投入更多计算，同一基础模型的性能可以被"解锁"到远超其训练规模预期的水平。
2025年1月，DeepSeek发布了R1模型，以开源权重的方式复制并超越了o1的推理能力 (introl.com) 。R1的核心创新在于纯强化学习（RL）训练 ：不依赖人类标注的推理轨迹，仅通过可验证奖励（如数学证明检查器、代码执行器）的反馈信号，让模型自发地发展出长链推理能力 (introl.com) 。R1在训练过程中自发出现了可识别的推理策略------自我纠正（"Wait, that can't be right because..."）、假设检验（"Let me try a different approach..."）、验证（"I can check this by substituting back..."） (How Language Works: A Kid's Guide to the Science of Words) 。
2025年4月发布的o3/o4-mini进一步将推理时计算推向新高度。o3提供了可调的计算层级 （低/中/高），在ARC-AGI基准上，低层级得分75.7%，高层级达到87.5%------后者是AI系统首次在该基准上突破85% (How Language Works: A Kid's Guide to the Science of Words) 。这证明了推理时计算不仅可以提升性能，还可以按需分配------用户可以根据任务的复杂度和预算选择适当的"思考深度"。
4.3 新范式的本质： Scaling Law并未终结，而是扩展维度
需要特别强调的是，test-time compute的兴起并不意味着预训练Scaling Law的终结 。相反，它扩展了Scaling Law的维度------从单一的训练时计算（train-time compute）扩展到了"训练时+推理时"的联合优化 (Github) 。OpenAI研究员Noam Brown在NeurIPS 2024上给出了最清晰的阐述：他在扑克AI研究中发现，"让模型在一手牌中思考20秒，获得的提升相当于将模型规模和训练扩大100,000倍 " (Github) 。Jensen Huang在GTC 2025上也呼应了这一观点，称"由于agentic AI和推理的需求，我们现在需要的计算量轻松是去年同期的100倍以上 " (Github) 。
| 范式阶段 | 时间范围 | 核心策略 | 代表模型/研究 | 关键指标 |
|---|---|---|---|---|
| Kaplan Scaling | 2020-2022 | 优先扩大参数 | GPT-3, Gopher | Token/参数比 1-2:1 |
| Chinchilla-optimal | 2022-2024 | 参数与数据均衡增长 | Chinchilla, LLaMA-1/2 | Token/参数比 ~20:1 |
| Inference-optimal | 2024-至今 | 小模型+超量数据 | LLaMA-3, Gemma | Token/参数比 100-2000:1 |
| Test-time compute | 2024-至今 | 推理时"思考更久" | o1, o3, DeepSeek-R1 | CoT长度/推理Token数 |
表3：Scaling Law四个范式阶段的核心特征对比。行业从单一的"训练规模"维度，逐步扩展到"训练效率"和"推理计算"多个维度。
5. Diogo文章的本质：一份迟到的历史复盘
5.1 技术内容的准确性
Diogo的《Scaling Laws, Honestly》在技术层面是准确的 (Complete Skeptic) 。Kaplan et al. (2020)确实存在所述的技术缺陷，Chinchilla (2022)确实纠正了这些缺陷，行业确实在2020-2022年间训练了"过大、数据过少"的模型。Diogo本人也坦诚承认自己"当时也在OpenAI做LLM优化，同样错过了这个bug" (Complete Skeptic) 。
5.2 "历史回顾"而非"新发现"
然而，这篇文章的核心问题在于时态和语境 。Chinchilla论文发表于2022年3月，距今已超过四年 (arXiv.org) 。LLaMA-65B（2023年2月）、LLaMA-3-8B（2024年4月）、o1（2024年9月）、DeepSeek-R1（2025年1月）------行业已经经历了至少三轮重大的训练策略迭代。Diogo文章所描述的"bug"，在Chinchilla发表后就被学术界广泛认知，并在随后的几年里被持续研究和完善 (arXiv.org) 。
更准确的定位是：Diogo的文章是一份面向非技术读者的历史科普 ，用通俗易懂的语言解释了Kaplan与Chinchilla Scaling Law差异的技术根源。它有价值------对于刚进入AI领域、不了解这段历史的人来说，这是一篇很好的入门材料。但它不应该被包装成"新发现"或"独家揭露"。
5.3 中文媒体的叙事放大
中文科技自媒体（如新智元、机器之心等）在转载Diogo文章时，往往采用了高度夸张的标题------例如"OpenAI塌房！一个bug烧掉万亿算力"、"Scaling Law崩塌！整个行业被误导五年"等。这些标题存在多重误导：
时间压缩。 将2020-2022年约两年的影响窗口夸大为"五年"，忽略了Chinchilla（2022）后行业已迅速转向的事实。
因果简化。 将"一个bug"描述为导致"万亿算力浪费"的唯一原因，忽略了即使在没有"bug"的情况下，早期模型训练也受限于当时的数据可用性、硬件能力和研究认知水平。
叙事时态错误。 将一份2026年的历史回顾当作2026年的"新闻"来报道，给读者造成"这是刚刚发生的重大事件"的错觉。
6. 结论：Scaling Law的演变是一部渐进史，而非突变史
回顾2020年至2025年的完整时间线，Scaling Law的演变呈现出清晰的渐进特征：
2020年 ，Kaplan et al.给出了第一个系统性的Scaling Law框架，其"bug"在当时的技术条件下是难以避免的------在没有大规模实验验证的情况下，固定Token数和学习率衰减是合理的工程选择 (Complete Skeptic) 。
2022年 ，Chinchilla通过400多个模型的系统性实验纠正了这一偏差，提出了20:1的最优比，并在发布后迅速获得独立验证 (arXiv.org) 。
2023-2024年 ，行业全面转向Chinchilla原则。Meta的LLaMA系列从21.5:1逐步推进到1875:1 (Life Architect) ；Google的Gemma达到857:1 (arXiv.org) ；Sardana & Frankle将推理成本纳入理论框架 (raw.githubusercontent.com) ；Snell et al.开启了test-time compute的研究方向 (arXiv.org) 。
2024-2025年 ，o1、o3、DeepSeek-R1将推理时计算推向主流，Scaling Law的维度从"训练时计算"扩展到"训练+推理"的联合优化 (arXiv.org) 。
这整个过程是一个持续的技术演进，而非由单一"bug"主导的灾难叙事。 Diogo的文章为这段历史提供了一个有价值的技术解读，但读者需要将其放在正确的时间语境中理解------它不是2026年的"新发现"，而是对2020-2022年一段已被纠正的技术偏差的迟来复盘。真正推动行业前进的力量，不是"发现bug"，而是DeepMind在2022年用400个模型所做的系统性实验，以及此后四年间OpenAI、Meta、Google、DeepSeek等实验室在架构创新（MoE）、训练策略（超量训练）和推理范式（test-time compute）上的持续探索。