Transformer模型

目录

[1. 概述](#1. 概述)

[2. Model Architecture](#2. Model Architecture)

[2.1 自回归](#2.1 自回归)

[2.2 编码器与解码器](#2.2 编码器与解码器)

[2.3 Attention](#2.3 Attention)

[2.4 Attention---mask](#2.4 Attention—mask)

[2.5 Multi-Head Attention](#2.5 Multi-Head Attention)

[2.6 自注意力使用](#2.6 自注意力使用)

[2.7 point-wise feed forward network](#2.7 point-wise feed forward network)

[2.8 embeddings](#2.8 embeddings)

[2.9 positional Encoding](#2.9 positional Encoding)


1. 概述

之前的模型,如RNN等,需要按时序做运算,对与并行设备能够减少运算时间这一方法并不能运用得很好,比如ht需要由之前ht-1的隐藏状态(包含历史信息)来完善,但如果序列很长的话,以往的历史信息很容易被丢失。

而Transformer模型中的attention可以进行并行运算。Multi-Head-Attention多头注意力机制可以模拟卷积神经网络多输出通道的一个效果

文章选图来自:Attention Is All You Need

地址:https://arxiv.org/abs/1706.03762

2. Model Architecture

2.1 自回归

编码器将句子中词的表示(x1,...,xn)变为对应的词向量z=(z1,...,zn),解码器拿到编码器的输出z,生成一个长为m的序列(n与m可以是不一样长的,比如中英翻译时句子可能是不一样长的)。auto-regressive:编码器可以看到完整的句子,但是在解码时只能一个一个的生成。z生成(y1,...,ym),在生成yt时,可以将y1到yt-1全都拿到,即在过去时候的输出可以作为当前时刻的输入。

2.2 编码器与解码器

编码器:

解码器:

在解码器做预测时,不应该看到之后的那些时刻的输出。而在注意力机制中,每一次都能看到完整的输入,所以需要避免这个情况的发生。即在解码器训练的时候,在预测第t个时刻的输出时,不应该看到t时刻以后的那些输入。可以用一个带掩码(masked)的注意力机制,保证训练和预测时候的行为是一致的。

2.3 Attention

value、key与query

output是value的加权和。对于每一个value的权重,是这个value对应的key与查询query的相似度算来的。(权重等价于query和你对应的key的那个相似度,相似度越大权重越大)

注意:不同相似函数会导致不一样的注意力版本。

Transformer中的注意力机制:

将query与每个key做内积作为相似度,内积值越大,表示相似度越高。(假设:给一个query,再给n个key value pair,则query会和每个key做内积,算出n个值,再放入softmax得到n个非负且加起来为1的一个权重,将权重作用在value上得到输出)

2.4 Attention---mask

对于第t时间的qt即query,在做计算时应只看k1,...,kt-1,不看kt及之后的。但是计算也可以算,我们加入mask,即对于qt和kt和之后计算的值换成一个非常大的负数,在softmax出来后对应的那些权重都会变成0。实现只用到v1,...,vt-1对应权重的效果。

2.5 Multi-Head Attention

将query、key、value投影到一个低维,再做h次的注意力函数,将每一个函数的输出并在一起,再投影回来,可以得到最终的输出。

V、K、Q进入线性层(投影到比较低的维度),放入Scaled Dot-Product Attention中做h次**(多头)**运算并得到h个输出,将这些向量合并在一起,最后做一次线性投影。

**使用多头注意力机制的作用:投影的参数可以学习,去匹配不同模式需要的相似函数。**类似卷积神经网络的多输出通道。

将不同头的输出结果concat起来,投影到中。对每一个头,把q、k、v通过一个不同的可以学习的投影到低维上面,再做注意力函数。

2.6 自注意力使用

attention是如何在编码器和解码器之间传递信息时起到作用?

回答:去有效的把编码器的输出根据我们想要的东西给拎出来。即在解码器时输入的不一样,会根据当前的向量去在编码器的输出里面挑选我们感兴趣的东西

2.7 point-wise feed forward network

在我们输入的序列里,每一个词对应一个点。把一个MLP(多层感知器)对每一个词作用一次,做一个语义空间的转换

下图是b站up主:跟李沐学AI

Transformer与RNN对于序列信息的使用(左Transformer 右RNN):

2.8 embeddings

由于输入是一个个词,需要将其映射为一个向量。embedding可以给任何一个词,学习一个长为d的向量来表示。编码器需要embedding,解码器的输入也需要embedding,在softmax前面的线性也需要embedding,且这三个embedding是一样的权重。

2.9 positional Encoding

由于attention不会有时序信息,则在处理时序数据时需要把时序信息加进来 。例如:RNN是将上一个时刻的输出作为下一个时刻的输入来传递历史信息。attention的做法是在输入里面加入时序信息 ,比如一个词在位置i ,将i这个位置的数字加到输入里面(即将词在句子中的位置也放入输入里)。

相关推荐
YSGZJJ42 分钟前
股指期货的套保策略如何精准选择和规避风险?
人工智能·区块链
无脑敲代码,bug漫天飞44 分钟前
COR 损失函数
人工智能·机器学习
HPC_fac130520678162 小时前
以科学计算为切入点:剖析英伟达服务器过热难题
服务器·人工智能·深度学习·机器学习·计算机视觉·数据挖掘·gpu算力
小陈phd4 小时前
OpenCV从入门到精通实战(九)——基于dlib的疲劳监测 ear计算
人工智能·opencv·计算机视觉
Guofu_Liao5 小时前
大语言模型---LoRA简介;LoRA的优势;LoRA训练步骤;总结
人工智能·语言模型·自然语言处理·矩阵·llama
ZHOU_WUYI9 小时前
3.langchain中的prompt模板 (few shot examples in chat models)
人工智能·langchain·prompt
如若1239 小时前
主要用于图像的颜色提取、替换以及区域修改
人工智能·opencv·计算机视觉
老艾的AI世界10 小时前
AI翻唱神器,一键用你喜欢的歌手翻唱他人的曲目(附下载链接)
人工智能·深度学习·神经网络·机器学习·ai·ai翻唱·ai唱歌·ai歌曲
DK2215110 小时前
机器学习系列----关联分析
人工智能·机器学习
Robot25110 小时前
Figure 02迎重大升级!!人形机器人独角兽[Figure AI]商业化加速
人工智能·机器人·微信公众平台