【官方双语】GPT是什么？直观解释Transformer | 深度学习第5章
0:00 - 预测，采样，重复：预训练/生成式/Transformer模型
3:03 - Transformer 的内部结构
6:36 - 本期总述
7:20 - 深度学习的大框架
12:27 - GPT的第一层：词嵌入为向量(embedding)
18:25 - 嵌入空间不仅代表词，还能包含上下文信息
20:22 - GPT的最后一层：向量解码为词(Unembedding)
22:22 - 带温度的 Softmax 函数
26:03 - 下期预告：深入注意力机制
1.0. GPT的解释
预测后续内容
- 视频重要内容
1.1 Token的解释
词的含义不同（以model举例）
注意力模块的工作：
后续是接多层感知器（MLP）或者叫做前馈神经网络：
深度学习系列课程
1.2 权重
八个类别：
1.3 词嵌入
几何角度理解：
举个例子：
- 点积
几何角度：
1.4 上下文长度
1.5 输出
- 涉及两个步骤
1.6 解嵌入矩阵
1.7 Softmax
下一章：Attention
