Transformer(课程笔记)

一:Motivation

RNN需要顺序的执行,不利于并行计算。

RNN的变体例如GRU、LSTM等需要依靠注意力机制解决信息瓶颈等问题。

抛弃RNN结构,提出了Transformer结构。

Transformer整体架构

二: 输入层(BPE,PE)

BPE:Byte Pair Encoding

解决OOV(out of vocabulary)问题。

PE:Positional Encoding

因为与RNN不同的是Transformer不能通过对文本处理的先后顺序来建模每个单词的位置关系,因此在输入的enbedding上加入一个位置编码


三:Encoder Block

每一个Encoder Block包含两个子层:

  • Multi-Head Attention多头注意力层;
  • Feed-Forward Network两层的ML。

两个tricks:

  • 残差连接;
  • Layer normalization:将输入的向量变成均值为0方差为1的分布,缓解梯度消失和梯度爆炸的问题。
  1. Attention Layer介绍:

Dot-Product Attention:与RNN中的注意力机制不同,使用了QKV三个向量。

文章使用的是Scaled Dot-Product Attention:

如果不使用Scaled,QK的方差会随着dk的增加而变大,从而进行softmax后概率分布会变得很尖锐,有些位置会很接近1,有些位置很接近0。结果会使得梯度越来越小,不利于参数的更新。

除以一个根号dk后可以保持方差为1。

**为什么叫自注意力:**让token自主选择关注哪些token。因为QKV实际上同一个的向量,都来自于文本的表示向量,这样就没法进行学习了。因此是使用不同的Liner层把QKV映射到不同的空间,学习的是每个Liner层各自的权重。

**多头注意力机制:**将QKV使用多组Liner层进行映射,计算注意力的输出,然后对各组计算结果进行拼接,然后通过线性层整合,就得到了多头注意力机制输出结果。
四:Decoder Block

跟Encoder比有两个变换:

1.第一个Attention Layer加了Masked操作,为了让预测当前词时不能看后面的词,因此把QK相乘后的矩阵上三角部分变为负无穷大,然后负无穷大经过softmax后=0。

2.第二个Attention Layer:Query向量来自于上一个Attention的输出,而Key和Value来自于Encoder最后一层的输出(我的理解是:这里的最后一层输出能够表示输入所有的信息的原因是用了多头注意力机制然后进行了整合,而RNN中单使用最后一层输出是不可行的,会出现信息瓶颈的问题的,不知道是不是这样理解)。


五:优缺点

1.优点:

  • 在NLP任务中有很好的效果
  • 适合并行计算
  • 能够建模token和token之间的关系
  • 成为了预训练模型的主要框架

2.缺点

  • 优化过程困难
  • 文本长度为n,复杂度为n方,不适合输入过长的文本

参考课程: 【【全748集】清华大佬终于把AI大模型(LLM)讲清楚了!通俗易懂,2024最新内部版!拿走不谢,学不会我退出IT圈!】https://www.bilibili.com/video/BV1rS411F735?p=31\&vd_source=30a18e1c6984e8eeef0cf4461d1f03e9

相关推荐
Suckerbin6 分钟前
TBBT: FunWithFlags靶场渗透
笔记·安全·web安全·网络安全
大筒木老辈子37 分钟前
Linux笔记---基于HTTP协议搭建一个简单的Web服务器
笔记
寒月霜华38 分钟前
机器学习-模型验证
人工智能·深度学习·机器学习
max5006002 小时前
基于多元线性回归、随机森林与神经网络的农作物元素含量预测及SHAP贡献量分析
人工智能·python·深度学习·神经网络·随机森林·线性回归·transformer
四谎真好看2 小时前
Java 黑马程序员学习笔记(进阶篇6)
java·笔记·学习·学习笔记
mzhan0172 小时前
[笔记] 来到了kernel 5.14
笔记
星梦清河2 小时前
宋红康 JVM 笔记 Day17|垃圾回收器
java·jvm·笔记
一枝小雨3 小时前
【C++】list 容器操作
开发语言·c++·笔记·list·学习笔记
Alice-YUE3 小时前
【css学习笔记8】html5css3新特性
css·笔记·学习
universe_013 小时前
day27|前端框架学习
前端·笔记