AI 学习路线 06：从 Transformer 到大语言模型，ChatGPT 为什么能生成回答？

AI 学习路线 06：从 Transformer 到大语言模型，ChatGPT 为什么能生成回答？

前言

前面一篇我们学习了深度学习：神经网络、反向传播、CNN、RNN、Transformer 的位置，以及常见训练技巧。

这一篇正式进入现代 AI 应用的核心：Transformer 与大语言模型。

很多人每天都在用 ChatGPT、通义、豆包、Claude、Gemini 这类大模型，但如果只停留在"它很聪明""它能聊天"，后面学 Prompt、RAG、Agent、微调、LLMOps 时就容易飘。

这一篇我们重点解决这些问题：

1. Token、Embedding、上下文窗口分别是什么？
2. Transformer 为什么成为大语言模型的核心结构？
3. Attention、Self-Attention、Q/K/V 到底怎么理解？
4. 预训练、指令微调、RLHF、安全对齐分别做什么？
5. 大语言模型为什么能生成文本？
6. Temperature 和 top_p 怎么控制生成效果？
7. 大模型为什么会幻觉？怎么缓解？
8. 多模态模型为什么能同时处理文本、图片、音频和视频？

这篇文章会继续使用图、表格、例子和代码，尽量把大模型的主干知识一次串起来。

一、先看大语言模型的整体流程

大语言模型看起来是在"理解一句话"，但底层并不是直接处理人类意义上的句子。

它的基本流程可以先理解成：

用户输入
  -> Tokenizer 切成 token
  -> token 转成 token ID
  -> token ID 转成 Embedding 向量
  -> Transformer 结合上下文做计算
  -> 预测下一个 token
  -> 不断循环，生成完整回答

这一章所有内容都可以围绕三个问题展开：

输入怎么变成模型能处理的表示？
模型中间怎么计算上下文关系？
输出又是怎么一个 token 一个 token 生成出来的？

二、Token：模型处理文本的基本单位

人看到的是一句话：

我喜欢机器学习。

但模型不会直接处理"句子"这个人类概念。

大语言模型会先用 Tokenizer 把文本切成 token，再转换成 token ID。

Token 可以是：

一个汉字
一个英文单词
一个子词
一个标点
一个特殊符号

比如英文：

unbelievable

可能被切成：

un + believable

也可能切得更细，具体取决于模型使用的 tokenizer。

所以要记住：

Token 不一定等于一个字，也不一定等于一个词。

Token 为什么重要？

大模型的很多限制和成本都和 token 有关：

相关概念	和 token 的关系
上下文窗口	一次最多能处理多少 token
API 计费	通常按输入 token 和输出 token 计费
生成长度	输出越长，生成 token 越多
文档处理	文档太长，需要切分成 token 可控的块

比如你给模型输入一篇很长的制度文档，模型不是按"页数"处理，而是按 token 数处理。

这也是为什么真实 AI 应用里经常要做：

文本切块
上下文压缩
摘要
检索
token 成本估算

三、Embedding：把 token 变成语义向量

Token ID 只是编号，本身没有语义。

例如：

机器学习 -> token id 905
披萨 -> token id 1288

不能因为两个 token ID 数字接近，就认为语义接近。

真正参与语义计算的是 Embedding。

可以这样理解：

Token：离散符号
Token ID：词表编号
Embedding：连续向量

Embedding 的价值是：

把文字放到一个向量空间里，让模型可以计算语义关系。

例如：

"机器学习"和"深度学习"的向量距离可能比较近。
"机器学习"和"披萨"的向量距离可能比较远。

这也是 RAG 和向量检索的基础：

把问题和文档都变成向量，再找语义上最接近的内容。

Token、Embedding、上下文窗口的关系

一句话总结：

Token 是单位。
Embedding 是表示。
上下文窗口是容量。

四、上下文窗口：模型一次能看到多少内容

上下文窗口指的是：

模型一次输入和输出中，能处理的 token 数量上限。

上下文窗口里不只是用户刚输入的一句话，还可能包含：

系统提示词
历史对话
用户问题
工具返回结果
检索到的文档片段
模型已经生成的回答

如果模型上下文窗口是 8K token，而你给了 20K token 的文档，就不能完整塞进去。

常见处理方式包括：

分块
摘要
检索
压缩上下文
只保留相关片段

这就是为什么企业知识库问答通常会使用 RAG，而不是把所有文档一次性丢给模型。

RAG 的基本直觉是：

不是让模型记住所有文档。
而是在回答前，先找出最相关的少量片段。
再让模型基于这些片段回答。

五、参数量、训练和推理

参数可以理解成模型内部学到的数字。

在神经网络里，权重和偏置都是参数。

大语言模型可能有几十亿、几百亿甚至更多参数。

参数越多，模型理论上能表达的模式越复杂，但也通常意味着：

训练成本更高
推理成本更高
部署要求更高
不一定所有任务都更划算

注意：

参数量大不等于所有场景都更好。

实际选模型时，还要看任务难度、成本、延迟、稳定性和数据安全。

训练和推理的区别：

阶段	目标	是否更新参数
训练	从数据中学习规律	会更新参数
推理	根据输入生成输出	通常不更新参数

一句话：

训练是让模型学会，推理是让模型使用已经学到的能力。

普通聊天不会把新知识永久写进模型参数。

如果你在一次对话里告诉模型一条公司规定，它可以在当前上下文里使用，但这不等于模型被重新训练了。

六、Transformer：现代大语言模型的核心结构

前面讲的是输入如何进入模型。

接下来要回答：

模型中间靠什么结构理解上下文？

答案是 Transformer，尤其是 Self-Attention。

可以先把 Transformer 理解成：

一种特别擅长处理序列数据的神经网络结构。

它处理文本时，不是孤立地看每个 token，而是让每个 token 都能参考其它 token，形成带有上下文的信息表示。

Transformer 的核心优势：

优势	说明
建模上下文关系	每个 token 可以参考其它 token
更擅长长距离依赖	远处相关信息也能直接建立联系
并行计算友好	比传统 RNN 更适合 GPU 大规模训练
可扩展性强	支撑现代大语言模型的发展

在 Transformer 之前，处理文本常用 RNN、LSTM、GRU。

RNN 的直觉是：

从左到右，一个位置一个位置地读。

这有两个问题：

问题	说明
并行度不够	后面位置往往要等前面位置处理完
长距离信息容易衰减	很远之前的信息传到后面可能变弱

Transformer 的重要变化是：

让序列中每个位置都可以直接和其它位置建立联系。

七、Attention：当前 token 应该重点看谁

Attention 可以直觉理解为：

在生成或理解某个 token 时，模型会判断上下文中哪些信息更重要。

比如这句话：

小明把苹果放进书包，因为它太重了。

这里的"它"更可能指：

苹果

而不是"小明"或"书包"。

模型处理"它"这个 token 时，就应该更关注"苹果"。

Attention 的核心直觉是：

当前 token 不是平均看所有 token，而是按重要程度看不同位置。

Self-Attention 是什么？

Self-Attention 里的 Self 表示：

序列内部自己看自己。

也就是：

同一句话里的每个 token，都可以参考同一句话里的其它 token。

例如：

我 喜欢 机器 学习

模型计算"学习"的表示时，可能会重点参考：

机器

因为"机器学习"组合在一起更有意义。

Self-Attention 的三步直觉

可以按三步理解：

1. 打分：当前 token 和其它 token 分别算相关程度。
2. 归一化：把相关程度变成权重。
3. 加权汇总：按权重混合其它 token 的信息，得到当前 token 的新表示。

比如处理"它"时：

可参考 token	注意力权重直觉
小明	0.05
苹果	0.70
书包	0.20
太重	0.05

这不是人工写死的规则，而是模型训练出来的模式。

八、Query、Key、Value 和多头注意力

真实 Attention 里经常看到三个词：

Query
Key
Value

可以用搜索来类比：

名称	直觉类比	在 Attention 里的作用
Query	我现在想找什么	当前 token 发出的查询
Key	每条信息的标签	用来和 Query 匹配，计算相关性
Value	真正要取回的内容	按注意力权重汇总的信息

一句话：

Query 和 Key 决定"看谁"，Value 决定"拿什么信息回来"。

多头注意力 Multi-Head Attention 的直觉是：

不要只用一个角度看上下文，而是用多个角度同时看。

比如同一句话中，不同 head 可能关注：

Head	可能关注的关系
Head 1	"它"指代谁
Head 2	动作"放进"和地点"书包"的关系
Head 3	"太重"描述的是哪个对象

不一定每个 head 都能被人类解释得这么清楚，但多头注意力确实提供了从多个关系角度提取信息的能力。

为什么还需要位置信息？

Attention 让 token 之间可以互相看，但如果只有 token embedding，模型并不知道顺序。

比如：

狗 咬 人
人 咬 狗

token 类似，但意思完全不同。

所以 Transformer 需要加入位置信息：

Positional Encoding
Position Embedding

也就是告诉模型：

这个 token 是什么。
它在第几个位置。

九、大语言模型是怎么训练出来的？

大语言模型的典型训练可以粗略分成四个阶段：

阶段	作用	直觉
预训练	在海量文本上学习语言规律和世界知识	打基础
指令微调	让模型学会按照人类指令回答问题	学会做题和聊天
RLHF / 偏好优化	通过人类反馈强化模型的回答偏好	学会什么回答更好
安全对齐	减少有害、违规、不可靠输出	学会边界

1. 预训练：学基础能力

预训练使用的数据非常大，比如：

网页、书籍、百科、代码、论文、论坛、问答内容

核心任务可以简化成：

根据前面的文本，预测下一个 token。

例如：

输入：人工智能正在改变
目标：世界 / 行业 / 生活 / ...

模型不断做这种预测，预测错了就通过反向传播调整参数。

经过大量训练后，模型会学到：

词语搭配
语法结构
常识知识
代码模式
推理模式的一部分
不同领域的表达方式

但预训练后的模型不一定是好用的聊天助手，它可能更像一个强大的文本续写器。

2. 指令微调：学会按要求回答

指令微调通常叫 SFT，Supervised Fine-Tuning。

它使用的数据是：

用户指令 -> 高质量回答

例如：

指令	高质量回答
用三句话解释什么是过拟合	给出清晰、分点解释
把下面这段话改写得更正式	输出正式风格文本
写一段 Python 代码统计词频	给出代码和说明

一句话：

预训练解决"模型有没有基础能力"。
指令微调解决"模型会不会按人类要求回答"。

3. RLHF：学会什么回答更好

RLHF 是 Reinforcement Learning from Human Feedback，来自人类反馈的强化学习。

它解决的问题是：

两个回答都能答，但哪个更好？

比如同一个问题：

请解释什么是梯度下降。

模型可能生成两个回答：

回答 A：结构清楚、例子直观、没有明显错误。
回答 B：很啰嗦、概念含糊、还有一点误导。

人类标注者告诉系统：

A 比 B 更好。

然后模型会更倾向生成类似 A 的回答。

RLHF 不是把所有正确答案写进模型，而是：

提供偏好信号，让模型学会什么样的回答更符合人类期待。

4. 安全对齐：学会边界

安全对齐的目标是减少：

有害输出
违规输出
隐私泄露
明显幻觉
高风险误导

但安全对齐不是让模型什么都拒绝。

更好的目标是：

能回答的正常回答。
不确定的说明不确定。
高风险的给出边界。
不能提供的内容，给出安全替代建议。

十、大语言模型为什么能生成文本？

先记住一句：

大语言模型生成文本，本质上是在不断预测下一个 token。

人看起来像是模型一次写出一整段回答，但底层更像：

1. 读取当前上下文。
2. 计算下一个 token 的概率分布。
3. 按采样策略选出一个 token。
4. 把这个 token 加回上下文。
5. 继续预测下一个 token。
6. 循环，直到生成结束。

比如输入：

今天天气很

模型可能先生成：

好

上下文变成：

今天天气很好

然后继续预测下一个 token，最终形成完整句子：

今天天气很好，适合出去散步。

概率分布：模型不是只给一个答案

模型每一步不是直接吐出唯一答案，而是给出很多候选 token 的概率。

例如：

候选 token	概率直觉
好	0.45
热	0.28
冷	0.19
香蕉	0.08

模型会根据上下文判断哪些 token 更可能出现。

生成策略决定模型怎么从这些候选里选。

策略	直觉	特点
Greedy Search	每一步都选概率最高的 token	稳定，但可能单调
Sampling	按概率随机抽一个 token	更多样，但不稳定
Beam Search	同时保留多条高分路径	常用于翻译等任务

十一、Temperature 和 top_p 怎么组合？

你以后经常会看到这些生成参数：

temperature
top_p
top_k
max_tokens

这一节重点理解 temperature 和 top_p。

Temperature 控制随机性：

Temperature	直觉	适合场景
低	更偏向高概率 token，输出更稳定	事实问答、代码、严肃总结
高	低概率 token 也更有机会，输出更多样	创意写作、头脑风暴

Top-p 也叫 nucleus sampling，核心直觉是：

只从累计概率达到 p 的候选 token 集合里采样。

这两个参数经常组合使用：

temperature：先调整概率分布的形状。
top_p：再限制候选 token 的范围。

更直白一点：

temperature 决定"概率差距要不要拉开"。
top_p 决定"候选池要保留多大"。

假设模型原本预测：

token	原始概率
好	0.45
热	0.28
冷	0.19
糟糕	0.05
香蕉	0.03

如果 temperature 较低，比如：

temperature = 0.2

高概率 token 会更突出，低概率 token 更没机会，模型更可能稳定选择"好"。

如果 temperature 较高，比如：

temperature = 1.2

概率会被拉平，低概率 token 也更有机会，模型可能更发散。

如果：

top_p = 0.9

模型会从累计概率达到 90% 的 token 里选：

好 0.45
热 0.28
冷 0.19

这三个累计约等于 0.92，后面的"糟糕""香蕉"就可能被排除。

常见经验：

场景	temperature	top_p
事实问答、代码、严肃总结	0.1 - 0.4	0.8 - 1.0
普通聊天、解释概念	0.5 - 0.8	0.8 - 0.95
创意写作、头脑风暴	0.8 - 1.2	0.9 - 1.0

一句话记忆：

temperature 管"敢不敢冒险"，top_p 管"冒险范围有多大"。

十二、为什么大模型会幻觉？

幻觉 Hallucination 指的是：

模型生成了看起来像真的、但事实不正确或没有依据的内容。

常见来源：

来源	说明
训练目标	模型目标是生成合理 token，不是天然保证事实正确
上下文不足	问题缺少信息时，模型可能猜测补全
知识过时	模型参数里的知识可能停留在训练数据时间
数据噪声	训练数据本身可能有错误
采样随机性	随机性高时，更可能出现发散内容

所以要记住：

大模型擅长生成文本，不等于天然保证事实正确。

减少幻觉的常见方法：

给足上下文
使用 RAG 检索外部资料
让模型引用来源
对关键结论做工具校验
降低随机性
要求不确定时明确说明
做人类审核或自动评估

例如企业知识库问答，不应该只让模型猜：

公司差旅标准是什么？

更可靠的做法是：

先检索公司制度文档。
把相关片段放进上下文。
要求模型只基于资料回答。
要求标注引用来源。

十三、多模态模型：不只读文字

现在很多模型已经不只处理文本，还能处理：

图片
音频
视频
表格
PDF
屏幕截图
操作环境

这种能处理多种信息类型的模型，就叫多模态模型。

模态可以理解成：

信息存在的形式。

模态	例子	模型需要理解什么
文本	问题、文章、代码	语义、结构、意图
图片	照片、截图、图表	物体、文字、位置、关系
音频	语音、音乐、环境声	声音内容、说话人、情绪、时间变化
视频	监控、教学视频、会议录像	图像帧、动作、时间线
表格 / 文档	Excel、PDF、报告	版式、字段、数值关系
屏幕 / 操作环境	软件界面、网页	UI 元素、状态、可执行操作

图片如何进入模型？

图片不能直接像普通文字一样用 tokenizer 切成文本 token。

常见做法是：

1. 把图片切成小块 patch。
2. 用视觉编码器提取每个 patch 的特征。
3. 把这些特征变成视觉 token 或向量。
4. 和文本 token 一起交给大模型推理。

比如你上传一张发票截图，问：

这张发票的总金额是多少？

模型需要同时完成：

识别图片中文字
理解版式和字段
找到"总金额"
根据你的问题生成回答

音频和视频为什么更复杂？

音频和视频比图片多一个重要因素：

时间。

音频是一段随时间变化的信号。

视频是连续图像帧，也包含动作、顺序和时间线。

比如用户问：

这个视频里什么时候开始演示安装步骤？

模型不能只看单张图片，它要理解：

前后画面变化
语音讲解内容
动作发生的时间点

多模态能做什么？

常见应用：

应用	输入	输出
看图问答	图片 + 问题	图中内容解释
图表理解	图表截图	趋势、结论、异常点
文档理解	PDF / 表格 / 截图	抽取字段、总结、核对
语音助手	语音	文本回答或语音回答
视频总结	视频	时间线、摘要、关键事件
屏幕理解	软件界面截图	错误诊断、操作建议
图像生成和编辑	文本 + 图片	新图片或修改结果

多模态能力也会增强 RAG 和 Agent。

多模态 RAG 可以处理：

PDF 截图
扫描件
图表
图片说明
视频片段
录音转写

多模态 Agent 可以：

看屏幕
识别按钮
读错误提示
理解图表
根据界面状态决定下一步操作

不过多模态也会出错。

常见风险：

风险	说明
OCR 错误	图片中文字可能识别错
小字和模糊图	分辨率低会影响理解
空间关系误判	物体位置、数量、大小关系可能出错
视频成本高	视频帧很多，处理成本和延迟更高
音频噪声	背景噪声会影响识别
幻觉仍存在	多模态输出同样需要校验

所以在发票、医疗、法律、安全等高风险场景中，不能只靠模型一句话定结论，还要结合结构化规则、工具校验和人工复核。

十四、几个小代码例子

1. 用向量相似度理解 Embedding

下面用一个极简二维向量模拟"语义越接近，向量越接近"。

import numpy as np


def cosine_similarity(a, b):
    a = np.array(a)
    b = np.array(b)
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))


vectors = {
    "机器学习": [0.95, 0.05],
    "深度学习": [0.90, 0.08],
    "披萨": [0.05, 0.95],
}

query = vectors["机器学习"]

for word, vector in vectors.items():
    score = cosine_similarity(query, vector)
    print(word, round(score, 3))

可能输出：

机器学习 1.0
深度学习 0.999
披萨 0.105

真实 embedding 是高维向量，这里只是帮助理解向量相似度。

2. 用代码模拟采样

import random


candidates = [
    ("好", 0.45),
    ("热", 0.28),
    ("冷", 0.19),
    ("香蕉", 0.08),
]

tokens = [item[0] for item in candidates]
weights = [item[1] for item in candidates]

for _ in range(5):
    next_token = random.choices(tokens, weights=weights, k=1)[0]
    print("今天天气很" + next_token)

可能输出：

今天天气很好
今天天气很热
今天天气很好
今天天气很冷
今天天气很好

这个例子说明：

概率高的 token 更容易被选中，但低概率 token 也可能被选中。

十五、面试中可以怎么回答？

1. Token、Embedding、上下文窗口分别是什么？

Token 是大语言模型处理文本的基本单位，可以是字、词、子词或符号片段；Embedding 是把 token 转换成向量表示，让模型可以在连续向量空间里计算语义关系；上下文窗口是模型一次能处理的 token 数量上限，决定模型当前能看到多少输入和已生成内容。

2. Transformer 为什么重要？

Transformer 是现代大语言模型的核心结构。它通过 Self-Attention 让序列中每个 token 都能根据重要程度参考其它 token，从而更好建模上下文关系和长距离依赖；同时它比传统 RNN 更容易并行计算，适合在大规模数据和 GPU 上训练。

3. Attention 是什么？

Attention 可以理解为一种动态分配关注权重的机制。模型在处理某个 token 时，会计算它和其它 token 的相关程度，再按权重汇总相关信息，得到带上下文的新表示。这样模型不是平均看所有内容，而是重点关注对当前判断更重要的位置。

4. Query、Key、Value 分别是什么？

在 Attention 中，Query 表示当前 token 想查询什么，Key 用来和 Query 匹配以计算注意力分数，Value 是最终被按权重汇总的信息。简单说，Query 和 Key 决定看谁，Value 决定取回什么内容。

5. 预训练、指令微调、RLHF 有什么区别？

预训练是在海量文本上学习语言规律、知识模式和基础能力，常见目标是预测下一个 token；指令微调用高质量的指令-回答数据训练模型，让模型学会按用户要求完成任务；RLHF 或偏好优化则利用人类反馈或偏好数据，让模型更倾向生成有帮助、清楚、安全、符合人类期待的回答。

6. 大语言模型为什么能生成文本？

大语言模型生成文本的核心机制是不断预测下一个 token。模型根据当前上下文，通过 Transformer 计算候选 token 的概率分布，再按照一定采样策略选择下一个 token，并把它加入上下文继续生成。预训练让模型学到语言规律和知识模式，指令微调和对齐让生成结果更符合人类指令和偏好。

7. 为什么大模型会幻觉？

因为大模型的训练目标主要是生成概率上合理的后续 token，而不是天然连接一个可靠事实数据库。当上下文不足、知识过时、训练数据有噪声或采样随机性较高时，模型可能生成听起来合理但事实错误的内容。工程上常用 RAG、工具校验、引用来源、降低随机性和人工审核来缓解。

8. 什么是多模态模型？

多模态模型是能够处理多种信息形式的模型，比如文本、图片、音频、视频、表格和屏幕环境。它通常会用不同的编码器把不同模态转换成模型能处理的向量或 token 表示，再在统一表示空间里进行理解、推理和生成。

十六、常见误区

误区	更准确的理解
Token 就是一个汉字或一个英文单词	Token 可以是字、词、子词或符号片段
Token ID 本身有语义	Token ID 只是编号，语义主要通过 Embedding 表达
上下文窗口越大越不需要 RAG	窗口变大有帮助，但成本、相关性和稳定性仍需工程设计
参数量越大一定越好	模型选择还要看任务、成本、延迟和安全
Attention 就是只看最近的词	Attention 可以关注任意位置，不局限于相邻 token
Transformer 不需要位置信息	顺序会影响语义，Transformer 需要位置信息
预训练后模型就是好助手	预训练模型更像强文本续写器，还需要指令微调
RLHF 是把所有正确答案写进模型	RLHF 主要提供偏好信号
模型说得流畅就一定正确	流畅不等于事实正确
Temperature 越高越聪明	Temperature 只是提高随机性
RAG 可以完全消灭幻觉	RAG 能缓解幻觉，但检索和引用仍要评估
多模态模型看图永远准确	模糊、小字、空间关系和视频时间线仍可能出错

十七、自测题

题目

Q1. Token 是什么？

A. 模型处理文本的基本单位

B. 数据库表名

C. 显卡风扇转速

D. 网页背景颜色

Q2. Embedding 的核心作用是什么？

A. 删除上下文窗口

B. 把 token 或文本转换成向量表示

C. 固定模型所有参数

D. 把图片压缩成 zip

Q3. 上下文窗口限制的是什么？

A. 模型一次能处理的 token 数量

B. 显示器尺寸

C. 数据库最大表数量

D. Python 文件名长度

Q4. Attention 的核心直觉是什么？

A. 只看最后一个 token

B. 对不同位置分配不同关注权重，重点参考更相关的信息

C. 删除所有不认识的 token

D. 固定所有参数不训练

Q5. Query 和 Key 在 Attention 中主要用于什么？

A. 压缩图片文件

B. 删除上下文窗口

C. 计算当前 token 应该关注哪些位置

D. 保存数据库密码

Q6. 预训练的核心目标更接近什么？

A. 在海量文本上学习语言规律和基础能力

B. 删除模型所有参数

C. 只训练网页颜色

D. 让模型永远不生成文本

Q7. RLHF 的核心直觉是什么？

A. 直接把数据库复制进模型

B. 用人类反馈或偏好信号，让模型更倾向产生人类喜欢的回答

C. 删除所有训练数据

D. 让模型只能输出一个字

Q8. 大语言模型生成文本的核心机制更接近什么？

A. 一次性从数据库复制整篇文章

B. 不断预测下一个 token，并把新 token 加回上下文继续生成

C. 只随机输出标点符号

D. 永远输出固定模板

Q9. Temperature 较高通常会带来什么效果？

A. 输出永远完全相同

B. 模型参数一定变少

C. 输出更多样，但也可能更发散

D. 上下文窗口变成无限

Q10. 多模态模型指的是什么？

A. 只能处理纯文本的模型

B. 能处理多种信息形式的模型，比如文本、图片、音频、视频

C. 只能做表格排序的模型

D. 只会压缩图片的工具

答案与解析

题号	答案	解析
Q1	A	Token 是模型处理文本的基本单位，可以是字、词、子词或符号片段。
Q2	B	Embedding 把 token 或文本转换成向量表示，便于模型计算语义关系。
Q3	A	上下文窗口限制模型一次能处理的 token 数量。
Q4	B	Attention 会为不同位置分配关注权重，重点参考更相关的信息。
Q5	C	Query 和 Key 用来计算相关性，也就是当前 token 应该关注哪些位置。
Q6	A	预训练是在海量文本上学习语言规律和基础能力。
Q7	B	RLHF 利用人类反馈或偏好信号，让模型更倾向产生人类喜欢的回答。
Q8	B	大模型通常不断预测下一个 token，并把新 token 加回上下文继续生成。
Q9	C	Temperature 较高会增加随机性，使输出更多样，但也可能更发散。
Q10	B	多模态模型能处理多种信息形式，比如文本、图片、音频和视频。

十八、本篇小结

这篇文章我们完成了 Transformer 与大语言模型的核心地图：

1. Token 是大模型处理文本的基本单位，不一定等于字或词。
2. Token ID 只是编号，Embedding 才是模型用于计算语义的向量表示。
3. 上下文窗口限制模型一次能处理多少 token。
4. Transformer 是现代大语言模型的核心结构。
5. Self-Attention 让同一序列内部的 token 彼此参考。
6. Query 和 Key 决定看谁，Value 决定取回什么信息。
7. Multi-Head Attention 可以从多个角度捕捉上下文关系。
8. 预训练打基础，指令微调学会按任务回答，RLHF 调整回答偏好，安全对齐建立边界。
9. 大模型生成文本是不断预测下一个 token 的循环。
10. Temperature 控制随机性，top_p 控制候选范围。
11. 幻觉来自训练目标、上下文不足、知识过时、数据噪声和采样随机性等因素。
12. 多模态模型能处理文本、图片、音频、视频等多种信息形式，但高风险场景仍需要校验和复核。

学完这一篇，你就有了理解现代大模型的主干框架。

后面再学习 Prompt、RAG、Agent、微调、AI 工程化时，这些概念都会反复出现。

十九、下一篇预告

下一篇进入 Prompt Engineering。

我们会继续讨论：

• Prompt 的基本结构是什么？
• 角色、任务、上下文、约束、输出格式怎么写？
• Zero-shot、Few-shot、Chain of Thought 怎么理解？
• 怎么让大模型输出更稳定、更可控？

大模型的底层原理帮我们理解"它为什么能回答"，Prompt Engineering 则开始解决"我们怎样让它更好地完成任务"。