引言
在人工智能发展的漫长历程中，规模定律（Scaling Laws）无疑是最具影响力的经验性发现之一。自2020年OpenAI发布开创性论文《Scaling Laws for Neural Language Models》以来，整个深度学习社区形成了一种近乎信仰般的共识：更大的模型、更多的数据、更强的算力，必然带来更好的性能。这种信念驱动着GPT系列、Claude系列、Gemini等大型语言模型不断突破边界，将人工智能推向了前所未有的高度。然而，随着模型规模突破万亿参数级别，训练成本攀升至数亿美元量级，一个令人不安的问题开始浮现：规模定律是否正在遭遇边际递减的困境？
2024年末，多位业界领袖和研究机构开始公开讨论规模定律的"撞墙"现象。OpenAI联合创始人Ilya Sutskever在NeurIPS 2024会议上坦言，传统的预训练范式正在接近其理论极限；Epoch AI的研究报告指出，高质量公共文本数据可能在2026至2028年间耗尽；TechCrunch等媒体更是以"AI scaling laws are showing diminishing returns"为标题，宣告了一个时代的转折点。这些声音并非空穴来风，而是建立在对大量实验数据的深入分析之上。当GPT-4级别的模型需要消耗约2.1×10²⁵ FLOPs的计算量，而性能提升却未能呈现预期的幂律增长时，研究者们不得不重新审视规模定律的适用边界。
本文将从理论层面深入剖析规模定律的数学本质、边际递减的内在机制，以及后训练时代理论重构的必然性与可行性。我们将首先回顾规模定律的理论基础与历史演进，建立对幂律关系的深刻理解；继而分析边际递减效应的多维度成因，包括数据质量约束、计算效率瓶颈和架构限制；最后，我们将系统探讨后训练时代的技术范式，包括监督微调、人类反馈强化学习、直接偏好优化、混合专家架构、测试时计算等新兴方向，揭示它们如何在规模定律边际递减的背景下开辟新的性能提升路径。这一理论重构不仅关乎技术路线的选择，更深刻影响着人工智能产业的未来格局与发展方向。
1 规模定律的理论基础与历史演进
1.1 幂律关系的发现与经验验证
规模定律的核心在于揭示神经网络性能与关键规模因素之间的幂律关系。2020年，Kaplan等人在OpenAI发表了里程碑式的研究《Scaling Laws for Neural Language Models》，该研究通过大量实验发现，语言模型在交叉熵损失上的表现与模型参数量N、数据集大小D以及训练计算量C之间存在精确的幂律关系。这一发现的重要性在于，它为预测更大规模模型的性能提供了可靠的理论依据，使得研究者能够在不进行昂贵训练的情况下，估算特定规模模型可能达到的性能水平。
具体而言，Kaplan等人的研究表明，当模型规模、数据规模和计算量中的某一个因素受到限制而其他因素充足时，损失函数L与受限因素之间存在如下幂律关系：L(N) = (Nc/N)^αN，其中Nc是一个与任务相关的常数，αN是幂律指数。类似地，损失与数据量的关系可表示为L(D) = (Dc/D)^αD，与计算量的关系为L(C) = (Cc/C)^αC。这些幂律关系在多个数量级的范围内表现出惊人的稳定性，使得研究者能够通过小规模实验预测大规模模型的性能。Kaplan等人的实验覆盖了从7.5×10⁴到2.2×10⁹个参数的模型，训练数据量从2.2×10⁷到2.3×10¹⁰个token，验证了幂律关系在广泛范围内的适用性。
幂律关系的发现并非偶然，而是深度神经网络内在特性的外在表现。从统计学习理论的角度，幂律关系反映了模型容量与泛化能力之间的复杂互动。当模型参数量增加时，模型能够学习更加复杂的函数映射，但同时也面临过拟合的风险。然而，Kaplan等人的研究表明，在语言建模任务中，过拟合并非主要问题，模型性能主要受限于训练数据的多样性和模型的表达能力。这一发现挑战了传统机器学习中"模型复杂度需要与数据量匹配"的直觉，揭示了深度学习模型独特的规模化特性。
1.2 Chinchilla最优性原则的建立
Kaplan等人的工作虽然揭示了规模定律的基本形式，但在最优资源分配问题上留下了重要空白。2022年，DeepMind团队发表了《Training Compute-Optimal Large Language Models》论文，提出了著名的Chinchilla最优性原则，对规模定律的理解产生了深远影响。Hoffmann等人通过系统性的实验发现，之前的模型普遍存在"参数过多、数据不足"的问题，最优的资源分配策略应该是增加训练数据量而非单纯增加模型参数。
Chinchilla研究的核心贡献在于建立了计算最优条件下的参数-数据平衡关系。研究表明，对于给定的计算预算C，最优模型参数量N和数据量D应满足N* ∝ C^a和D* ∝ C^b的关系，其中a ≈ 0.5和b ≈ 0.5。这意味着在计算最优条件下，模型参数和数据量应该以相近的速率增长。这一发现与Kaplan等人的结论存在显著差异：Kaplan等人建议在固定计算预算下优先增加模型参数，而Chinchilla研究表明应该优先增加训练数据。
为了验证这一理论，DeepMind团队训练了名为Chinchilla的70B参数模型，使用1.4万亿token的训练数据。与参数量更大但训练数据较少的Gopher模型（280B参数，3000亿token）相比，Chinchilla在MMLU基准测试上取得了67.5%的平均准确率，相比Gopher提升了超过7个百分点。这一实验结果强有力地支持了Chinchilla最优性原则，并促使整个行业重新思考模型训练的资源分配策略。
表1：Kaplan与Chinchilla规模定律的关键参数对比
| 特性维度 | Kaplan定律 (2020) | Chinchilla定律 (2022) |
|---|---|---|
| 参数-数据关系 | N ∝ C^0.73, D ∝ C^0.27 | N ∝ C^0.50, D ∝ C^0.50 |
| 最优策略 | 优先增加模型参数 | 参数与数据同步增长 |
| 数据效率 | 相对低估数据重要性 | 强调数据的关键作用 |
| 代表模型 | GPT-3系列 | Chinchilla, LLaMA系列 |
| 适用场景 | 早期规模化探索 | 计算资源受限条件 |
Chinchilla最优性原则的建立不仅具有理论意义，更对实际模型开发产生了深远影响。LLaMA系列模型的开发直接借鉴了Chinchilla的洞见，通过使用更多的训练数据来弥补参数量的不足，在相对较小的模型规模下实现了与更大模型相当的性能。这一策略的成功验证了Chinchilla定律的实用价值，也为后续模型开发提供了重要参考。
1.3 规模定律的理论解释框架
规模定律的经验发现引发了研究者对其理论基础的深入探索。2024年，Bahri等人在PNAS发表的《Explaining neural scaling laws》论文提出了一个统一的理论框架，试图从统计学习和函数逼近的角度解释幂律关系的起源。该研究识别了四种不同的规模化区域：数据受限的方差受限区域、数据受限的分辨率受限区域、模型受限的方差受限区域和模型受限的分辨率受限区域。
在方差受限区域，模型性能主要受训练数据随机性的影响，损失随数据量或模型规模的增加呈现平滑下降。在分辨率受限区域，模型性能受限于其表达复杂数据分布的能力，损失下降呈现更加复杂的模式。Bahri等人的理论框架将这四种区域统一在一个数学框架下，揭示了规模定律背后的深层机制。该研究表明，幂律指数的大小取决于数据分布的内在复杂性和模型的表达能力，为理解不同任务和模型架构下的规模定律差异提供了理论基础。
另一个重要的理论视角来自流形假设（Manifold Hypothesis）。2024年，多位研究者提出，高维数据实际上分布在低维流形上，神经网络的规模化行为与数据流形的几何结构密切相关。在这一视角下，幂律关系反映了模型逼近数据流形的能力随规模变化的规律。当模型规模增加时，网络能够学习更加精细的流形结构，从而降低预测误差。然而，由于数据流形的维度和复杂性是有限的，模型性能的提升最终会趋于饱和，这为边际递减效应提供了理论解释。
2 规模定律的数学形式化与核心公式
2.1 基本幂律方程的推导与解释
规模定律的数学形式化建立在大量实验观察的基础之上。Kaplan等人提出的核心方程描述了损失函数L与模型参数量N、数据集大小D之间的联合关系。在交叉熵损失框架下，这一关系可以表示为：
L(N, D) = L∞ + (Nc/N)^αN + (Dc/D)^αD
其中L∞代表不可约损失，即模型在给定任务上能够达到的最优性能极限；Nc和Dc是与任务相关的临界常数；αN和αD是幂律指数。这一方程揭示了规模定律的加性结构：模型性能的提升来自参数规模和数据规模两个独立维度的贡献。
不可约损失L∞的存在是规模定律的重要特征。它反映了任务本身的固有难度，即使无限规模的模型和数据也无法完全消除预测误差。对于语言建模任务，L∞可以理解为语言的内在不确定性------给定上下文，下一个词的预测存在固有的随机性。Kaplan等人估计，对于英语文本建模，L∞约为1.67 nats（自然单位下的熵值），这意味着即使最优模型也无法完全预测文本序列。
幂律指数αN和αD的数值对于理解规模定律的行为至关重要。Kaplan等人的实验表明，αN约为0.076，αD约为0.095。这些较小的指数值意味着损失下降相对缓慢------模型参数或数据量增加一倍，损失仅下降约5-7%。这一发现解释了为什么现代大型语言模型需要如此巨大的规模才能实现显著的性能提升。
2.2 计算最优分配的数学推导
Chinchilla定律的核心贡献在于建立了计算最优条件下的资源分配公式。给定计算预算C，训练一个模型的总计算量可以近似为C ≈ 6ND，其中N是模型参数量，D是训练token数量。系数6来自前向传播和反向传播的计算复杂度：前向传播每个token需要约2N次浮点运算，反向传播需要约4N次运算，总计约6N次运算每token。
在计算约束下最小化损失函数L(N, D)，可以使用拉格朗日乘数法推导最优分配策略。将计算约束代入损失函数，得到：
L(N) = L∞ + (Nc/N)^αN + (Dc/(C/6N))^αD
对N求导并令其为零，可以得到最优参数量N*的表达式。Chinchilla研究的推导表明，最优分配满足：
N* = G(C) · C^a D* = G(C)^-1 · C^b
其中G(C)是一个缓慢变化的函数，a和b是接近0.5的常数。这一结果表明，在计算最优条件下，参数量和数据量应该以相近的速率增长。
表2：不同规模定律框架下的最优资源分配策略
| 计算预算 (FLOPs) | Kaplan最优参数 | Kaplan最优数据 | Chinchilla最优参数 | Chinchilla最优数据 |
|---|---|---|---|---|
| 10²¹ | 10B | 100B tokens | 3B | 500B tokens |
| 10²² | 50B | 300B tokens | 10B | 1.5T tokens |
| 10²³ | 200B | 1T tokens | 30B | 5T tokens |
| 10²⁴ | 800B | 3T tokens | 100B | 15T tokens |
从表2可以清晰看出，Chinchilla框架建议的模型规模显著小于Kaplan框架，而训练数据量则显著更大。这一差异对于实际模型开发具有重要指导意义：在有限的计算预算下，训练一个较小但数据充足的模型，往往比训练一个较大但数据不足的模型更加高效。
2.3 子规模定律与数据质量效应
2024-2025年的最新研究揭示了规模定律的更复杂结构。ACL 2025发表的《Revisiting Scaling Laws for Language Models: The Role of Data Quality》论文提出了"子规模定律"（Sub-scaling Law）的概念，指出在特定条件下，传统的幂律关系可能不再适用。该研究通过超过400个模型的系统性实验发现，数据质量是影响规模定律行为的关键因素。
当训练数据存在大量冗余或低质量样本时，损失下降的速率会显著放缓。研究者将这一现象归因于"信息密度"的降低------当数据中包含大量重复或无关信息时，有效学习信号被稀释，模型性能提升受限。子规模定律的数学形式可以表示为：
L(N, D, Q) = L∞ + (Nc/N)^αN · f(Q) + (Dc/D)^αD · g(Q)
其中Q代表数据质量指标，f(Q)和g(Q)是质量调制函数。当数据质量较高时，f(Q)和g(Q)接近1，传统的幂律关系成立；当数据质量较低时，这些函数的值增大，导致损失下降速率放缓。
这一发现对于理解边际递减效应具有重要意义。随着模型规模的增大，对高质量训练数据的需求也在增加。然而，高质量数据的获取存在天然瓶颈------互联网上的高质量文本资源是有限的，而合成数据的质量又难以保证。这一约束使得规模定律在实践中的适用性受到限制，为边际递减效应提供了数据层面的解释。
3 边际递减效应的理论解释
3.1 边际递减的数学表征
边际递减效应在经济学中是一个经典概念，描述的是投入要素增加时产出增长率逐渐下降的现象。在深度学习规模定律的语境下，边际递减表现为：随着模型规模、数据量或计算量的持续增加，性能提升的幅度逐渐减小。这一现象可以用边际收益的概念来数学表征。
定义边际收益为损失函数对规模变量的导数。对于参数规模N，边际收益为：
∂L/∂N = -αN · Nc^αN · N^(-αN-1)
由于αN > 0，边际收益始终为负（增加参数降低损失），但其绝对值随N的增加而减小。这意味着每增加一个参数带来的损失下降幅度在递减。类似地，对于数据规模D：
∂L/∂D = -αD · Dc^αD · D^(-αD-1)
同样表现出边际递减的特性。这一数学表征揭示了规模定律内在的边际递减机制：幂律函数的凸性决定了随着规模的增加，边际收益必然下降。
边际递减效应的存在并不意味着规模扩张完全无效，而是表明规模扩张的效率在降低。从投资回报的角度，当边际收益低于某个阈值时，继续增加规模可能不再具有经济可行性。这一阈值取决于具体的应用场景和成本结构，但规模定律的数学形式为评估这一阈值提供了理论依据。
3.2 数据约束与信息瓶颈
边际递减效应的一个重要来源是数据约束。Epoch AI的研究表明，互联网上的高质量公共文本数据总量约为300万亿token，而当前最先进的模型已经使用了数十万亿token进行训练。按照当前的增长趋势，高质量公共数据可能在2026至2028年间被完全利用。
数据约束对规模定律的影响可以从信息论的角度理解。语言模型本质上是在学习数据分布的统计规律，当训练数据覆盖了数据分布的大部分区域后，继续增加数据带来的新信息量会逐渐减少。这一现象可以用信息瓶颈理论来解释：模型的性能受限于训练数据中包含的关于目标任务的信息量，当数据中的信息被充分提取后，继续增加数据量不再带来显著的性能提升。
数据质量的不均匀分布进一步加剧了边际递减效应。互联网文本数据的质量存在显著差异：学术论文、专业文档等高质量内容相对稀缺，而社交媒体帖子、低质量网页等内容则大量存在。当模型训练消耗了大部分高质量数据后，剩余数据的平均质量下降，导致学习效率降低。2024年发表的多篇论文指出，数据质量对模型性能的影响可能比数据数量更为关键，这为理解边际递减效应提供了新的视角。
3.3 计算效率与硬件约束
计算效率的边际递减是另一个重要因素。随着模型规模的增大，训练过程中的计算效率面临多重挑战。首先是内存带宽瓶颈：大型模型的参数无法完全存储在高速缓存中，需要频繁访问主内存，导致计算单元的利用率下降。其次是通信开销：分布式训练需要在多个设备之间同步梯度和参数，通信延迟随设备数量增加而增长。
硬件约束对计算效率的影响可以通过阿姆达尔定律来理解。假设训练过程中有比例为p的部分可以并行化，则加速比的上限为：
Speedup = 1 / ((1-p) + p/n)
其中n是并行设备数量。即使p接近1，当n非常大时，加速比的增长也会趋于饱和。这意味着简单地增加硬件数量并不能线性提升训练效率，边际收益会逐渐递减。
表3：不同规模模型的训练效率对比
| 模型规模 | 参数量 | 训练数据 | 计算量 (FLOPs) | 估算成本 | MMLU性能 | 效率指标 |
|---|---|---|---|---|---|---|
| 小型 | 7B | 2T tokens | 8.4×10²² | ~$0.5M | ~45% | 基准 |
| 中型 | 70B | 2T tokens | 8.4×10²³ | ~$5M | ~65% | 0.04/成本单位 |
| 大型 | 500B | 2T tokens | 6×10²⁴ | ~$35M | ~75% | 0.008/成本单位 |
| 超大型 | 1T | 2T tokens | 1.2×10²⁵ | ~$70M | ~78% | 0.004/成本单位 |
表3展示了不同规模模型的训练效率对比。从效率指标可以看出，随着模型规模的增大，单位成本带来的性能提升显著下降。从7B到70B，成本增加10倍，性能提升约20个百分点；而从500B到1T，成本增加一倍，性能提升仅约3个百分点。这一数据直观地展示了边际递减效应的实际影响。
3.4 架构限制与表达能力边界
神经网络架构本身的限制也是边际递减的重要来源。Transformer架构虽然在大规模语言模型中取得了巨大成功，但其表达能力存在理论上限。从计算复杂度的角度，标准Transformer的自注意力机制需要O(n²)的计算复杂度，其中n是序列长度。这一复杂度限制了模型处理长序列的能力，也影响了模型对复杂依赖关系的建模效率。
架构限制还表现在模型的表达能力边界上。通用近似定理表明，具有足够多神经元的神经网络可以逼近任意连续函数。然而，这一定理并不保证学习的效率------对于某些复杂的函数关系，可能需要指数级的参数才能有效逼近。当模型需要学习的语言规律接近其表达能力边界时，继续增加参数带来的性能提升会逐渐减少。
2024年发表的多篇论文探讨了Transformer架构的规模化极限。研究表明，Transformer在处理某些类型的推理任务时存在系统性困难，这些困难无法通过单纯增加规模来解决。例如，在需要多步推理或长距离依赖的任务上，即使最大的模型也难以达到人类水平的表现。这些发现表明，架构创新可能是突破规模定律边际递减的关键方向。
4 数据瓶颈与质量约束
4.1 公共文本数据的有限性
人工智能模型的训练高度依赖于大规模文本数据，然而公共互联网文本数据的总量是有限的。Epoch AI的研究报告详细分析了这一问题，估计高质量公共文本数据的总量约为300万亿token。这一数字看似庞大，但与当前大型语言模型的训练需求相比，已经显得捉襟见肘。GPT-4级别的模型据估计使用了约13万亿token进行训练，而最新的模型可能使用了更大规模的数据。
数据有限性的根源在于人类知识生产速度的限制。高质量文本------包括学术论文、专业书籍、新闻报道、技术文档等------的生产需要大量人力和时间投入。即使将所有人类历史上生产的数字化文本都纳入训练数据，其总量仍然是有限的。更重要的是，这些数据中存在大量重复、低质量或过时的内容，有效信息量远小于表面数量。
数据有限性对规模定律的影响是深远的。如果训练数据总量存在上限Dmax，那么规模定律中的数据项(Dc/D)^αD在D接近Dmax时会趋于饱和。这意味着即使无限增加模型参数，性能提升也会受到数据瓶颈的限制。Chinchilla定律的最优分配原则在这种情况下可能不再适用，因为数据量的增长存在硬性约束。
4.2 合成数据的机遇与挑战
面对公共数据的有限性，合成数据成为了一个备受关注的方向。合成数据是指由人工智能模型生成的、用于训练其他模型的数据。理论上，合成数据可以无限生成，从而突破公共数据的数量限制。然而，合成数据的实际应用面临多重挑战。
首先是质量保证问题。合成数据的质量取决于生成模型的能力，而生成模型本身又受限于其训练数据的质量。这形成了一个潜在的循环依赖：如果合成数据的质量低于原始训练数据，那么使用合成数据训练的模型性能可能会下降。2024年发表的多篇论文探讨了这一问题，发现低质量的合成数据可能导致模型性能的"坍缩"------模型逐渐失去生成多样化、高质量输出的能力。
其次是多样性问题。有效的训练数据需要覆盖目标分布的各个区域，而合成数据可能倾向于集中在某些区域，导致分布偏差。研究表明，当合成数据的多样性不足时，模型可能过度拟合某些模式，泛化能力下降。这一问题在需要创造性或推理能力的任务上尤为突出。
尽管存在挑战，合成数据在某些领域已经展现出应用潜力。在代码生成、数学推理等领域，通过精心设计的合成数据生成流程，可以产生高质量的训练样本。关键在于建立有效的质量控制机制，确保合成数据能够提供真正的学习信号而非噪声。
4.3 数据质量评估与筛选策略
数据质量对模型性能的影响已经得到广泛认可，但如何评估和筛选高质量数据仍然是一个开放问题。传统的数据质量评估方法主要关注表面特征，如文本长度、词汇多样性、语法正确性等。然而，这些指标与模型学习效果之间的相关性并不总是很强。
最新的研究提出了更加精细的数据质量评估框架。一个重要的方向是基于模型的数据评估：使用预训练模型对候选数据进行评分，筛选出对模型学习最有价值的样本。这种方法的核心假设是，模型难以预测或产生高损失的样本可能包含更多学习价值。然而，这一假设也存在局限性------高损失可能反映的是数据噪声而非学习价值。
另一个重要方向是数据多样性评估。研究表明，训练数据的多样性对模型泛化能力至关重要。过于相似的数据样本会导致模型过度拟合特定模式，而高度多样化的数据则有助于模型学习更加鲁棒的特征表示。数据多样性的评估可以从多个维度进行，包括语义多样性、结构多样性、主题多样性等。
表4：数据质量维度与评估方法
| 质量维度 | 定义 | 评估方法 | 对模型性能的影响 |
|---|---|---|---|
| 信息密度 | 单位文本中的有效信息量 | 信息熵计算、冗余度分析 | 影响学习效率 |
| 事实准确性 | 内容与现实世界的一致性 | 事实核查、来源验证 | 影响模型可靠性 |
| 语言质量 | 语法正确性、表达流畅性 | 语言模型评分、人工评估 | 影响生成质量 |
| 多样性 | 数据分布的覆盖范围 | 聚类分析、嵌入空间分析 | 影响泛化能力 |
| 任务相关性 | 与目标任务的关联程度 | 领域分类、主题建模 | 影响特定任务性能 |
数据筛选策略的设计需要综合考虑多个质量维度。一个常用的策略是构建多阶段筛选流程：首先进行粗粒度的质量过滤，去除明显的低质量数据；然后进行细粒度的多样性筛选，确保数据分布的均衡；最后进行任务相关的筛选，优先保留与目标任务相关的样本。这种分层筛选策略可以在保证数据质量的同时，最大化有效数据的利用率。
5 后训练时代的理论重构
5.1 从预训练到后训练的范式转变
规模定律边际递减的现实促使研究者重新思考模型开发的整体范式。传统的"预训练-微调"范式将主要资源投入到预训练阶段，期望大规模预训练能够为各种下游任务提供强大的基础能力。然而，随着预训练边际收益的递减，后训练阶段的重要性日益凸显。后训练是指在预训练完成后，通过各种技术手段进一步提升模型性能的过程，包括监督微调、人类反馈强化学习、直接偏好优化等。
范式转变的理论基础在于区分模型的"知识获取"和"能力激活"两个阶段。预训练阶段主要解决知识获取问题，通过大规模数据学习语言的模式和世界的知识。后训练阶段则主要解决能力激活问题，通过针对性的训练使模型能够有效运用其知识解决具体任务。当预训练规模增大到一定程度后，模型已经具备了丰富的知识储备，关键在于如何有效激活和引导这些知识。
这一范式转变对资源分配策略产生了深远影响。在传统范式下，大部分计算资源用于预训练，后训练仅占很小比例。在新范式下，后训练阶段的资源投入显著增加，包括高质量标注数据的获取、人类反馈的收集、多轮迭代优化等。这种资源重新分配的合理性在于：后训练阶段的边际收益可能高于继续扩大预训练规模。
5.2 监督微调的理论基础
监督微调（Supervised Fine-Tuning, SFT）是后训练阶段的基础技术，其核心思想是在预训练模型的基础上，使用标注数据进行针对性训练，使模型适应特定任务或遵循特定指令。从理论角度，SFT可以理解为在预训练获得的先验分布基础上，通过监督信号进行后验更新。
SFT的有效性建立在迁移学习理论之上。预训练模型通过大规模无监督学习获得了通用的语言表示能力，这些能力可以通过相对少量的监督数据进行"引导"或"激活"。研究表明，预训练模型的表示空间中已经编码了丰富的语义信息，SFT的作用主要是学习如何将这些信息映射到具体的输出格式和任务要求。
SFT的数据效率是其重要优势。与从头训练相比，SFT只需要少量的标注数据就能达到良好的效果。这一特性使得SFT成为实际应用中的首选方法，因为高质量标注数据的获取成本通常很高。然而，SFT也面临一些挑战：过度微调可能导致模型遗忘预训练阶段获得的知识（灾难性遗忘），而微调不足则可能无法充分激活模型的能力。
2024年发表的研究提出了多种改进SFT效果的方法。一个重要方向是数据质量优化：研究表明，SFT数据的质量比数量更为关键，精心筛选的高质量指令数据可以显著提升微调效果。另一个方向是多阶段微调：先使用大规模数据进行通用指令微调，再使用小规模高质量数据进行特定任务微调，可以在保持通用能力的同时提升特定任务性能。
5.3 人类反馈强化学习的理论框架
人类反馈强化学习（Reinforcement Learning from Human Feedback, RLHF）是后训练阶段的核心技术之一，其目标是通过人类偏好信号优化模型行为。RLHF的理论基础可以追溯到偏好学习和逆强化学习领域，其核心思想是从人类的偏好判断中推断隐含的奖励函数，然后使用强化学习优化模型策略。
RLHF的标准流程包含三个阶段。第一阶段是监督微调，使用高质量对话数据训练初始策略模型。第二阶段是奖励模型训练，收集人类对模型输出的偏好排序，训练一个能够预测人类偏好的奖励模型。第三阶段是策略优化，使用PPO（Proximal Policy Optimization）等算法，以奖励模型的评分作为优化目标，调整策略模型的参数。
RLHF的理论优势在于能够优化难以形式化的目标。许多我们期望模型具备的能力------如有用性、无害性、诚实性------难以用明确的规则或损失函数定义，但人类可以容易地对不同输出进行偏好判断。RLHF通过学习人类偏好，将这些隐含的优化目标转化为可计算的奖励信号。
然而，RLHF也面临多重理论挑战。首先是奖励模型的不准确性：奖励模型是从有限的人类偏好数据中学习的，可能无法完美捕捉人类的真实偏好。其次是奖励投机（Reward Hacking）：策略模型可能学会利用奖励模型的缺陷，生成能够获得高分但实际质量不高的输出。最后是训练稳定性：强化学习过程可能不稳定，需要精心调整超参数才能获得良好效果。
5.4 直接偏好优化的理论创新
直接偏好优化（Direct Preference Optimization, DPO）是2023年提出的一种简化RLHF的方法，其核心创新在于绕过奖励模型训练，直接从偏好数据优化策略。DPO的理论基础是一个关键洞察：在特定的理论假设下，最优策略与奖励函数之间存在闭式解，可以直接从偏好数据中推导最优策略参数。
DPO的数学推导基于Bradley-Terry偏好模型。假设人类对输出y₁和y₂的偏好概率可以表示为：
p(y₁ ≻ y₂ | x) = σ(r(x, y₁) - r(x, y₂))
其中r是奖励函数，σ是sigmoid函数。在RLHF框架下，需要先学习r，再用强化学习优化策略。DPO的关键发现是，最优策略π*与奖励函数r之间存在如下关系：
r(x, y) = β log(π*(y|x) / π_ref(y|x)) + const
其中π_ref是参考策略（通常是SFT后的模型），β是控制偏离程度的超参数。将这一关系代入偏好模型，可以直接得到策略参数的优化目标，无需显式训练奖励模型。
DPO的优势在于简化了训练流程，避免了强化学习的不稳定性。实验表明，DPO在多个基准测试上可以达到甚至超过RLHF的效果，同时训练更加稳定、计算成本更低。这些优势使得DPO成为后训练阶段的重要技术选择。
然而，DPO也存在一些局限性。首先，DPO假设偏好数据来自参考策略的分布，当这一假设不成立时，优化效果可能受影响。其次，DPO对偏好数据的质量要求较高，低质量的偏好标注可能导致次优结果。最后，DPO在处理复杂偏好结构时可能不如RLHF灵活，需要进一步的理论扩展。
6 架构创新与效率优化
6.1 混合专家架构的规模化原理
混合专家（Mixture of Experts, MoE）架构是突破规模定律边际递减的重要技术方向。MoE的核心思想是将模型分解为多个专家子网络，每个输入只激活部分专家，从而在不显著增加计算成本的情况下扩大模型参数量。从理论角度，MoE可以理解为一种条件计算策略，根据输入动态选择计算路径。
MoE架构的规模化原理与传统密集模型有本质区别。在传统模型中，参数量N与计算量C之间存在固定关系：每个输入都需要经过所有参数的计算。在MoE模型中，有效参数量N_eff可以远大于每次推理的计算量C，因为只有部分专家被激活。这一特性使得MoE模型能够在保持推理效率的同时，拥有更大的知识容量。
MoE架构的数学形式可以表示为：
y = Σᵢ gᵢ(x) · Eᵢ(x)
其中gᵢ(x)是门控函数，决定专家i对输入x的激活程度；Eᵢ(x)是专家i的输出。门控函数通常设计为稀疏的，即只有top-k个专家被激活，其余专家的权重为零。这种稀疏激活机制是MoE效率优势的关键来源。
2024-2025年的研究深入探讨了MoE架构的规模化定律。研究表明，MoE模型遵循与传统模型类似的幂律关系，但具有不同的最优分配策略。在MoE框架下，专家数量和专家大小的平衡成为关键设计决策。ICML 2025发表的《Joint MoE Scaling Laws》论文提出了MoE最优规模化的理论框架，为MoE模型的设计提供了指导。
6.2 参数高效微调的理论基础
参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）是一类旨在减少微调计算成本的技术，其核心思想是只更新模型的一小部分参数，而保持大部分参数固定。LoRA（Low-Rank Adaptation）是PEFT的代表性方法，其理论基础是低秩假设：模型适应新任务所需的参数变化可以用低秩矩阵近似。
LoRA的数学形式可以表示为：
W' = W + ΔW = W + BA
其中W是原始权重矩阵，ΔW是适应矩阵，B和A是低秩分解矩阵，其秩r远小于原始矩阵的维度。在微调过程中，只训练B和A，而保持W固定。这一设计大幅减少了需要训练的参数数量，同时保持了良好的适应效果。
LoRA的理论优势可以从多个角度理解。从优化角度，低秩约束相当于对参数空间施加了正则化，有助于避免过拟合。从计算角度，低秩矩阵的存储和计算成本远低于全参数微调。从组合角度，不同的LoRA适配器可以独立训练和部署，支持模块化的模型定制。
LoRA的有效性已经在大量实验中得到验证。研究表明，秩为8或16的LoRA适配器通常就能达到与全参数微调相当的效果，而训练参数量仅为原始模型的0.1%-1%。这一效率优势使得LoRA成为实际应用中的主流微调方法，特别是在计算资源受限的场景下。
6.3 推理优化与KV缓存压缩
推理效率是规模定律边际递减背景下的另一个关键问题。随着模型规模的增大，推理成本也随之上升，成为实际部署的重要瓶颈。KV缓存压缩是优化推理效率的核心技术之一，其目标是减少注意力机制中键值缓存的内存占用。
KV缓存的工作原理如下：在自回归生成过程中，模型需要重复计算之前token的键值表示。为了避免重复计算，可以将这些表示缓存起来，这就是KV缓存。然而，KV缓存的大小与序列长度和模型规模成正比，对于大型模型和长序列，内存占用可能非常可观。
KV缓存压缩的理论基础是信息冗余假设：注意力键值表示中存在大量冗余信息，可以通过压缩显著减少存储需求，同时对模型性能影响有限。压缩方法包括量化、剪枝、低秩近似等多种技术。
量化是最常用的压缩方法，将高精度浮点数转换为低精度表示。研究表明，将KV缓存从FP16量化到INT8甚至INT4，可以在几乎不影响模型性能的情况下，将内存占用减少2-4倍。更激进的量化方法，如2-bit量化，也在研究中展现出潜力。
6.4 量化与模型压缩的理论框架
模型量化是提高计算效率的重要手段，其理论基础是将连续的参数空间映射到离散的表示空间。量化的数学形式可以表示为：
Q(x) = round(x/s) · s
其中x是原始值，s是量化步长，round是舍入函数。量化引入的误差可以用信噪比来衡量，量化步长越大，误差越大，但压缩率也越高。
量化感知训练（Quantization-Aware Training, QAT）和训练后量化（Post-Training Quantization, PTQ）是两种主要的量化策略。QAT在训练过程中模拟量化效果，使模型学会适应量化误差。PTQ则在训练完成后进行量化，通常需要校准数据来确定最优量化参数。两种策略各有优劣：QAT效果更好但需要重新训练，PTQ更简单但可能损失更多精度。
最新的研究探索了混合精度量化策略，即对不同层或不同参数使用不同的量化精度。这一策略的理论依据是不同参数对量化误差的敏感度不同：某些参数对模型性能影响较大，需要较高精度；而其他参数可以使用较低精度。通过精细的敏感度分析，可以在保持模型性能的同时最大化压缩效果。
7 测试时计算与新范式
7.1 测试时计算的理论基础
测试时计算（Test-Time Compute）是2024年兴起的新范式，其核心思想是在推理阶段投入额外计算资源来提升输出质量。这一范式与传统的预训练规模化形成对比：传统方法通过增加训练时的计算量来提升模型能力，而测试时计算则通过增加推理时的计算量来提升特定任务的解决效果。
测试时计算的理论基础可以从多个角度理解。从优化角度，测试时计算相当于对每个输入进行针对性的"推理优化"，通过多次迭代或搜索找到最优输出。从计算分配角度，测试时计算将计算资源从训练阶段转移到推理阶段，实现了更加灵活的资源分配。从认知科学角度，测试时计算模拟了人类"思考"的过程------面对复杂问题时投入更多时间进行推理。
OpenAI的o1系列模型是测试时计算范式的代表性工作。o1模型通过强化学习训练，学会了在推理过程中进行"思维链"展开------将复杂问题分解为多个步骤，逐步推理得出答案。研究表明，o1的性能随着测试时计算量的增加而平滑提升，形成了一种新的规模化定律。
7.2 思维链与推理时搜索
思维链（Chain-of-Thought, CoT）是测试时计算的核心技术之一，其基本思想是让模型在给出最终答案前，先输出中间推理步骤。思维链的有效性可以从多个理论角度解释：首先，思维链将复杂推理分解为多个简单步骤，降低了每一步的认知负担；其次，思维链提供了更多的上下文，使模型能够"看到"自己的推理过程并进行修正；最后，思维链增加了有效计算量，使模型能够更充分地运用其知识。
推理时搜索是思维链的自然扩展，其核心思想是在推理过程中探索多个可能的推理路径，选择最优的结果。常见的搜索策略包括最佳优先搜索、蒙特卡洛树搜索等。这些方法在数学推理、代码生成等任务上展现出显著效果，能够解决单次推理难以处理的复杂问题。
搜索策略的理论分析涉及计算复杂度与解质量的权衡。更深入的搜索通常能找到更好的解，但计算成本也更高。研究表明，对于不同类型的问题，最优的搜索深度存在差异：某些问题可以通过浅层搜索解决，而其他问题则需要深度搜索才能获得满意结果。这一发现为测试时计算的动态资源分配提供了理论依据。
7.3 自我修正与迭代优化
自我修正（Self-Correction）是测试时计算的另一个重要方向，其核心思想是让模型能够识别和修正自己输出中的错误。自我修正的理论基础是元认知：模型不仅需要生成输出，还需要评估输出的质量，并在发现问题时进行调整。
自我修正的实现方式多种多样。一种方法是让模型生成多个候选答案，然后选择最优的一个。另一种方法是让模型对自己的输出进行批评，然后根据批评进行修改。还有方法引入外部工具（如代码执行器、搜索引擎）来验证和修正模型输出。
迭代优化是自我修正的系统性框架，其数学形式可以表示为：
y^(t+1) = Improve(y^(t), Critique(y^(t)))
其中y^(t)是第t次迭代的输出，Critique是批评函数，Improve是改进函数。迭代过程持续进行，直到输出满足质量标准或达到最大迭代次数。
研究表明，迭代优化可以显著提升模型输出的质量，特别是在需要精确性的任务上。然而，迭代优化也面临一些挑战：如何设计有效的批评函数、如何避免迭代过程中的性能退化、如何平衡迭代深度与计算成本等。这些问题是当前研究的热点方向。
7.4 测试时计算的新规模化定律
测试时计算范式的兴起催生了新的规模化定律研究。2024-2025年发表的多篇论文探讨了测试时计算量与模型性能之间的关系，发现存在类似预训练规模化的幂律关系。
OpenAI的研究表明，o1模型的性能随着测试时计算量的增加而平滑提升。这一关系可以近似表示为：
Performance ∝ (Test-Time Compute)^γ
其中γ是测试时规模化指数。值得注意的是，测试时规模化与预训练规模化存在相互作用：较大的模型通常能更有效地利用测试时计算，而测试时计算也可以弥补较小模型的能力差距。
测试时规模化定律的发现具有重要的实践意义。它为资源分配提供了新的灵活性：在预训练边际收益递减的情况下，可以通过增加测试时计算来进一步提升性能。然而，测试时计算也面临成本挑战------每次推理都需要额外计算，在大规模部署场景下可能带来显著的成本增加。
8 未来展望与理论挑战
8.1 规模定律的边界与适用性
规模定律作为深度学习领域的经验性发现，其适用边界一直是研究者关注的核心问题。随着模型规模突破万亿参数级别，训练成本攀升至数十亿美元量级，理解规模定律的边界变得愈发重要。当前的研究表明，规模定律在以下方面可能面临边界约束。
首先是数据边界。规模定律假设训练数据可以无限扩展，但实际上高质量数据的总量是有限的。当训练数据接近这一边界时，规模定律的预测可能失效。研究表明，在数据受限条件下，模型性能的提升会显著放缓，传统的幂律关系可能不再适用。
其次是任务边界。规模定律主要基于语言建模任务（交叉熵损失）建立，其对其他任务的适用性需要谨慎评估。某些任务可能存在"涌现能力"------在特定规模阈值以下性能接近随机，超过阈值后性能突然提升。这种非线性行为与平滑的幂律关系存在差异，需要更复杂的理论模型来描述。
最后是架构边界。规模定律的实证研究主要基于Transformer架构，其对新型架构的适用性有待验证。随着混合专家、状态空间模型等新架构的出现，规模定律可能需要修正或扩展。2024年的研究已经开始探索MoE架构的规模化定律，发现其与传统密集模型存在显著差异。
8.2 理论统一与数学基础
规模定律的理论统一是当前研究的重要方向。现有的理论解释包括统计学习理论、流形假设、信息瓶颈理论等多个视角，但这些理论之间存在鸿沟，尚未形成统一框架。建立规模定律的坚实数学基础，对于预测模型发展轨迹、指导资源分配决策具有重要意义。
一个有前景的方向是将规模定律与统计物理联系起来。神经网络的规模化行为与热力学系统存在相似之处：模型参数类似于粒子，训练过程类似于热力学演化，损失函数类似于自由能。这一类比可能为理解规模定律提供新的理论工具。
另一个方向是从函数逼近理论的角度分析规模定律。神经网络的规模化行为与其逼近复杂函数的能力密切相关。通过分析不同函数类的逼近复杂度，可能能够预测模型在特定任务上的规模化特性。这一方向的研究已经开始，但距离完整的理论框架仍有距离。
8.3 后训练时代的理论挑战
后训练时代的到来带来了新的理论挑战。传统的规模定律主要关注预训练阶段，对后训练阶段的规模化行为研究相对不足。以下问题需要进一步探索：
首先是后训练数据的规模化定律。后训练阶段使用的数据类型与预训练存在本质差异：预训练使用大规模无标注文本，后训练使用小规模高质量标注数据。数据质量与数量之间的权衡如何影响后训练效果？是否存在类似Chinchilla定律的后训练最优分配策略？这些问题需要系统的理论研究。
其次是多阶段训练的理论框架。现代模型训练通常包含多个阶段：预训练、指令微调、偏好优化等。这些阶段之间存在复杂的相互作用，如何从理论上刻画这种相互作用？如何设计最优的多阶段训练策略？这些问题的解答需要建立新的理论框架。
最后是后训练与预训练的协同优化。在计算资源有限的情况下，如何在预训练和后训练之间进行最优分配？预训练模型的规模如何影响后训练的效果？这些问题的研究对于实际模型开发具有重要指导意义。
8.4 人工智能发展的新范式
规模定律边际递减的现实正在推动人工智能发展范式的深刻变革。从单纯追求规模扩张，转向更加多元化的技术路线，这一转变将对整个行业产生深远影响。
一个重要方向是多模态融合。将语言模型与视觉、音频等其他模态结合，可能开辟新的规模化路径。多模态模型能够从更多数据源学习，部分缓解文本数据的有限性问题。同时，跨模态的知识迁移可能带来新的能力涌现。
另一个方向是神经符号融合。将神经网络的学习能力与符号系统的推理能力结合，可能突破纯神经方法的局限性。神经符号方法在需要精确推理的任务上展现出潜力，为解决大模型的"幻觉"问题提供了新思路。
最后是持续学习与在线适应。传统模型在训练完成后参数固定，无法适应新知识。持续学习方法使模型能够不断学习新知识，同时保持已有能力。这一方向的研究可能改变模型的生命周期，从"训练-部署"模式转向"持续进化"模式。
结论
规模定律的边际递减标志着人工智能发展进入了一个新的阶段。从Kaplan定律到Chinchilla定律，从预训练规模化到后训练优化，从训练时计算到测试时计算，我们见证了理论认知的不断深化和技术范式的持续演进。边际递减并非发展的终点，而是新方向的起点。在数据约束、计算约束、架构约束的多重压力下，研究者正在探索更加高效、更加智能的技术路线。后训练时代的理论重构，混合专家架构的规模化创新，测试时计算的新范式，这些进展共同描绘了人工智能发展的新图景。未来，随着理论基础的不断夯实和技术创新的持续推进，人工智能有望突破当前的规模化瓶颈，迈向更加智能、更加高效的新阶段。
参考文献
1\] Kaplan, J., McCandlish, S., Henighan, T., et al. (2020). Scaling Laws for Neural Language Models. arXiv preprint arXiv:2001.08361. \[2\] Hoffmann, J., Borgeaud, S., Mensch, A., et al. (2022). Training Compute-Optimal Large Language Models. NeurIPS 2022. arXiv:2203.15556. \[3\] Bahri, Y., Kadmon, J., Pennington, J., et al. (2024). Explaining neural scaling laws. Proceedings of the National Academy of Sciences, 121(27), e2311878121. \[4\] Rafailov, R., Sharma, A., Mitchell, E., et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS 2023. arXiv:2305.18290. \[5\] OpenAI. (2024). Learning to reason with LLMs. OpenAI Blog. \[6\] Muennighoff, N., Yang, Z., Li, W., et al. (2025). Revisiting Scaling Laws for Language Models: The Role of Data Quality. ACL 2025. \[7\] Epoch AI. (2024). Will we run out of data to train large language models? \[8\] He, Y., Cai, Z., Zhang, H., et al. (2025). Towards a Comprehensive Scaling Law of Mixture-of-Experts. arXiv preprint arXiv:2509.23678. \[9\] Sharma, P., Ash, J., Garg, S., et al. (2025). Scaling language model size yields diminishing returns for persuasiveness. PNAS, 122(1), e2413443122. \[10\] Hu, E. J., Shen, Y., Wallis, P., et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR 2022.