大语言模型LLM综述解读:从预训练到评测,建立理解 LLM 的技术地图

前言

论文:A Survey of Large Language Models

作者:Wayne Xin Zhao、Kun Zhou、Junyi Li 等,主要来自中国人民大学等机构

来源:arXiv:2303.18223v9,2023 年 4 月 28 日更新版

文章目录

    • [1. 这篇综述解决什么问题?](#1. 这篇综述解决什么问题?)
    • [2. 从语言模型到大语言模型:到底在学习什么?](#2. 从语言模型到大语言模型:到底在学习什么?)
    • [3. 规模定律:算力预算如何分给模型和数据?](#3. 规模定律:算力预算如何分给模型和数据?)
    • [4. 预训练第一关:高质量数据比"文件很多"更重要](#4. 预训练第一关:高质量数据比“文件很多”更重要)
    • [5. 三类主流结构:关键差别在注意力可见范围](#5. 三类主流结构:关键差别在注意力可见范围)
    • [6. 指令微调:让"继续写文本"更适合"完成任务"](#6. 指令微调:让“继续写文本”更适合“完成任务”)
    • [7. RLHF:偏好对齐与工程正确性有何不同?](#7. RLHF:偏好对齐与工程正确性有何不同?)
    • [8. 上下文学习与思维链:怎样使用已有模型?](#8. 上下文学习与思维链:怎样使用已有模型?)
    • [9. 评测:会回答问题,不代表能完成工程任务](#9. 评测:会回答问题,不代表能完成工程任务)
    • [10. 贡献与阅读边界](#10. 贡献与阅读边界)
    • 参考与配图说明

1. 这篇综述解决什么问题?

面对大语言模型,初学者容易把参数规模、Transformer、指令微调、RLHF、提示词和推理能力混在一起。它们实际处于模型开发与使用的不同阶段。

这篇综述给出四条主线:

主线 核心问题 典型内容
预训练 Pre-training 基础能力从哪里来? 数据、结构、训练目标、训练效率
适配调优 Adaptation Tuning 怎样更好地响应具体任务和人类要求? 指令微调、对齐、参数高效微调
使用 Utilization 不更新参数时,怎样组织输入? 上下文学习、示例设计、思维链提示
能力评估 Capacity Evaluation 怎样判断模型到底会什么? 语言生成、知识、推理与其他任务

**本文依据的是 2023 年 v9 版本,图中的模型与资源统计属于当时的技术快照,不代表今天的完整模型生态。**原文主要讨论文本语言模型,不能因为文件所在目录名为 LMM,就将它改称为多模态模型综述。

原文图 1,PDF 第 6 页。时间线按论文当时收集的模型及其公开信息组织,适合帮助理解技术脉络。

2. 从语言模型到大语言模型:到底在学习什么?

语言模型的基本目标,是根据已有上下文预测后续 token 的概率。用常见的自回归分解表达:

P ( x 1 , ... , x T ) = ∏ t = 1 T P ( x t ∣ x 1 , ... , x t − 1 ) P(x_1,\ldots,x_T)=\prod_{t=1}^{T}P(x_t\mid x_1,\ldots,x_{t-1}) P(x1,...,xT)=t=1∏TP(xt∣x1,...,xt−1)

模型训练时,优化的是这类概率预测;使用时,则通过逐步生成 token 完成回答、代码生成、摘要等任务。

综述回顾了统计语言模型、神经语言模型、预训练语言模型和大语言模型的演进。变化不仅是参数变多,也包括更大的训练语料、更高的计算投入、更成熟的训练方法,以及通过提示组织多种任务的能力。

原文对 LLM 的讨论采用相对宽松的规模范围,主要关注 10B 以上模型,也承认没有统一的最小参数门槛。因此,不能把"超过某个参数量"当作获得可靠推理能力的充分条件。

3. 规模定律:算力预算如何分给模型和数据?

论文介绍 Kaplan 等人的规模定律,以及 Chinchilla 研究提出的计算最优训练视角。

为了理解后者,可以先看损失的概括形式:

L ( N , D ) = E + A N α + B D β \mathcal{L}(N,D)=E+\frac{A}{N^\alpha}+\frac{B}{D^\beta} L(N,D)=E+NαA+DβB

N N N 是模型参数规模, D D D 是训练 token 数,其他系数来自实验拟合。在近似计算约束 C ≈ 6 N D C\approx6ND C≈6ND 下,模型大小和训练数据量需要共同规划。

它提醒我们:同样的训练预算,并不总是把模型做得越大越好;数据数量与质量也会形成瓶颈。

这些规律是特定条件下对训练损失等现象的经验描述,不能直接推导"网络配置一定正确"或"工程优化一定达到最优"。

原文还讨论了上下文学习、指令遵循和逐步推理等能力的规模相关现象。相关阈值受模型、任务和测试方式影响,适合把它们当作当时研究的经验发现,而不是所有模型必然遵循的固定分界线。

4. 预训练第一关:高质量数据比"文件很多"更重要

原文图 3,PDF 第 13 页。流程包含质量过滤、去重、隐私处理和分词等步骤。

综述将数据来源区分为通用语料与专门语料,例如网页、书籍、对话、科学文本和代码。不同来源的混合比例会影响能力分布。

实际数据处理至少涉及以下问题。

  1. **质量过滤。**删除噪声、低质量或不适宜内容,避免训练被无效样本主导。
  2. **去重。**重复语料不仅浪费预算,还可能加剧记忆、污染评测和影响泛化。
  3. **隐私处理。**识别并减少个人信息等敏感内容进入训练数据。
  4. **分词与数据混合。**把文本变成模型输入,并决定不同来源的采样方式。

对于 TSN 领域,这意味着"收集一堆标准 PDF"只是起点。标准版本、表格结构、公式、设备手册适用范围,以及配置实例的正确性,都可能影响最终知识质量。这里是基于综述方法作出的领域延伸,并非原文进行了 TSN 数据集实验。

5. 三类主流结构:关键差别在注意力可见范围

原文图 4,PDF 第 15 页。不同颜色表示前缀与目标 token 之间的可见关系,灰色表示相应注意力被屏蔽。

结构 输入如何被处理? 输出如何生成? 理解重点
Encoder--Decoder 编码器对输入进行双向编码 解码器结合编码结果自回归生成 输入编码和输出生成由两套堆叠承担
Causal Decoder 每个位置只能关注自身及此前位置 沿同一序列继续生成 因果掩码阻止读取未来 token
Prefix Decoder 前缀内部允许双向关注 生成部分保持因果关系 前缀和输出使用不同可见范围

不要把图中的颜色理解为某种固定的网络硬件结构。它展示的是注意力掩码,即模型计算时"哪些位置可以看见哪些位置"。

在工程应用中,结构选择会影响训练与使用方式,但仅靠结构名称也不能判断模型是否掌握某个厂商的 YANG 模型或是否能正确计算 CBS 时延界。

6. 指令微调:让"继续写文本"更适合"完成任务"

预训练模型擅长学习文本规律,但用户通常希望它直接完成一个明确任务。指令微调因此把任务组织成"任务描述---输入---期望输出"的监督样本,再更新模型参数。

原文图 5,PDF 第 20 页。左侧展示任务样本格式,中间和右侧展示不同来源的指令样本构造。

原文介绍了从已有 NLP 数据集构造指令样本,以及使用人类需求和示范构造数据等方式。多任务指令数据能够改善指令遵循和对未见任务的适应,但效果依赖数据覆盖、质量与训练方式。

在网络工程中,可以把任务样本设计成:给定设备能力、接口模式和需求,生成受约束的配置候选。若训练样本只奖励"看起来像配置",却不检查参数合法性和网络行为,就可能把错误格式或错误规则一并学进去。

参数高效微调:少更新一些参数

论文介绍 Adapter、Prefix Tuning、Prompt Tuning 与 LoRA 等方法。它们通过只训练部分新增或辅助参数,减少适配成本。

例如,LoRA 可用以下常见记号理解:

W ′ = W 0 + B A , r ≪ min ⁡ ( d , k ) W'=W_0+BA,\qquad r\ll\min(d,k) W′=W0+BA,r≪min(d,k)

其中 W 0 ∈ R d × k W_0\in\mathbb{R}^{d\times k} W0∈Rd×k 冻结, B ∈ R d × r B\in\mathbb{R}^{d\times r} B∈Rd×r、 A ∈ R r × k A\in\mathbb{R}^{r\times k} A∈Rr×k 为训练的低秩矩阵。这里采用便于阅读的记号,与原文符号不完全相同。

参数高效并不等于不用训练数据,也不意味着能消除专业知识错误。它解决的是适配成本问题,而不是自动提供任务正确性证明。

7. RLHF:偏好对齐与工程正确性有何不同?

原文图 6,PDF 第 23 页。展示监督微调、奖励模型训练以及强化学习调优。

原文梳理的典型流程包括:

  1. 使用示范回答进行监督微调。
  2. 收集多个回答的偏好排序,训练奖励模型。
  3. 利用奖励反馈更新语言模型,图中使用 PPO。

它改善的是模型响应与目标偏好之间的匹配。这里有一个对网络工程尤其重要的区别:更符合人类偏好的解释,不等于更满足链路、队列、截止期和设备接口约束。

用户可能偏好清晰、完整、自信的回答,但交换机只接受真实支持的参数和合法操作。专业应用仍需外部工具、形式化约束、仿真或实际执行结果来验证。

8. 上下文学习与思维链:怎样使用已有模型?

原文图 7,PDF 第 26 页。两种方式都通过组织输入引导输出,带中间步骤的示例属于思维链提示。

上下文学习 ICL 把任务说明和少量示例放入输入,模型据此处理新问题,通常不需要梯度更新。

指令微调 则使用任务样本更新参数。两者都可能包含自然语言任务描述,但发生的阶段不同。

综述指出,示例选择、格式与排列顺序都会影响 ICL 效果。对网络配置任务,一个正确、相关且覆盖当前设备能力的示例,通常比大量无关配置片段更有参考价值。

思维链提示通过示范中间步骤帮助某些多步任务,但生成的中间步骤也可能错误。不能仅凭解释详细、步骤较多,就把答案当成经过验证的结果。

一个用于理解工程流程的提示模板可以是:

text 复制代码
任务:把网络需求整理为待验证的配置候选。
输入:拓扑、设备型号与能力、流周期、截止期、已有配置。
要求:只使用给定资料支持的字段;缺失信息列为待补项。
输出:需求摘要、候选参数、所依据资料、待执行验证项。

这是本文的教学示例,不是原文进行过评测的提示词,也没有赋予生成结果部署资格。

9. 评测:会回答问题,不代表能完成工程任务

综述讨论语言生成、知识利用、复杂推理等能力评估,涉及的任务和数据集各有侧重。不存在一个分数能够覆盖所有工程能力。

原文图 8,PDF 第 31 页。左侧为与输入关系冲突的例子,右侧为错误解释 RLHF 的例子;图中的错误回答是反例,RLHF 的正确含义是 Reinforcement Learning from Human Feedback。

原文区分与输入内容冲突的 intrinsic hallucination,以及缺乏事实支持或与事实不符的 extrinsic hallucination。这两类问题在网络配置里可能表现为:忽略用户明确给出的端口,或者编造不存在的设备字段。

若将综述的评测思路扩展到 TSN,可以分层检查:

层次 示例问题 证据形式
术语知识 是否理解 TAS、CBS、GCL? 问答与引用核验
格式正确 配置能否被解析? XML/JSON/YANG 检查
模型正确 路由、队列和时间安排是否满足约束? 独立调度与时延分析
系统行为 配置安装后是否达到要求? 仿真、仿真网络或硬件测量

这张分层表是面向网络工程的阅读延伸,不是原文提出的 TSN 基准。

10. 贡献与阅读边界

这篇论文的主要贡献是组织技术知识:把模型资源、预训练、适配、提示使用和能力评估联系起来,提供理解 LLM 的系统入口。它不是提出一个新 TSN 系统,也没有自己的工业网络性能提升实验。

对于后续阅读 LLM + TSN 论文,建议始终带着三个问题:模型在哪个环节使用?专业信息从哪里获得?最终正确性由什么独立证据确认?

当一篇论文使用 ICL 产生类别分配、用 RAG 查询设备手册,或用微调改善领域行为时,这份技术地图可以帮助辨认它实际改进了哪一环。

参考与配图说明

  • Wayne Xin Zhao et al., A Survey of Large Language Models, arXiv:2303.18223v9,2023-04-28。
  • 原文资源项目:RUCAIBox/LLMSurvey。本文没有运行项目代码。
  • 7 张配图均截自用户提供的 v9 PDF,页码为 PDF 物理页码。
  • 本文中的 TSN 示例和评测延伸已与原文研究内容区分。配图权利归原作者及相应权利人所有。
相关推荐
β添砖java1 天前
Transformer大白话学习笔记
笔记·学习·transformer
真上帝的左手1 天前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
羲云网络3 天前
Claude Fable 5.2 创意编程分析:程序化生成、多智能体协作与工程验收
人工智能·大语言模型·blender·游戏开发
Eloudy4 天前
从 DeepSeek-V1 到 DeepSeek-V2:一次从“堆稠密参数”到“稀疏计算+压缩缓存”的架构转向
gpt·llm·transformer
高洁015 天前
数据同化与动态状态估计:让孪生持续贴合现实
人工智能·python·深度学习·transformer·迁移学习
一起学安全技术8 天前
拆大模型 03|注意力的一句话版本:不用论文讲清 Attention
深度学习·算法·语言模型·transformer
风巽·剑染春水8 天前
【Generative AI综述】生成式人工智能在医学影像中的应用(ACME-2026)
人工智能·transformer·gan·vae·生成模型·扩散模型·医学影像
机器学习之心8 天前
5 个特征、2 个输出:让 DBO 替 CNN-Transformer 挑结构,再用 SHAP 把黑箱撬开
人工智能·cnn·transformer·cnn-transformer
code2cat9 天前
【随笔】结构化输出:JSON格式过关,业务数据就能入库吗
json·大语言模型