一、引言
Self-Attention并行的计算方式未考虑输入特征间的位置关系,这对NLP来说是不可接受的,毕竟一个句子中每个单词都有着明显的顺序关系。Transformer没有RNN、LSTM那样的顺序结构,所以Transformer在提出Self-Attention的同时提出了Positional Encoding。
如图所示,Transformer在Attention模块之前将位置编码加进了待输入特征中。
二、位置编码
首先需要明确NLP中数据的形式,一个批次包含多个句子,每个句子包含多个单词,每个单词被转为长度相同的token向量。由于每个句子中包含的单词数不同,所以会通过padding统一同一批次的embedding。假设一个批次padding后的embedding维度为 [ b a t c h _ s i z e , n u m _ t o k e n , d i m _ t o k e n ] [batch\_size,num\_token,dim\_token] [batch_size,num_token,dim_token]。
1. 直观的位置编码
1.1 索引型
将token的索引作为位置编码,第一个token编码为0,第二个token编码为1,以此类推。
其主要问题在于位置编码的值无界。
1.2 [0,1]型
为保证值有界 ,可限制位置编码范围为 [ 0 , 1 ] [0,1] [0,1],第一个token编码为0,最后一个token编码为1,其余token等间隔取值。例如共3个token时,位置编码为 [ 0 , 0.5 , 1 ] [0,0.5,1] [0,0.5,1],共4个token时,位置编码为 [ 0 , 0.33 , 0.66 , 1 ] [0,0.33,0.66,1] [0,0.33,0.66,1]。
其主要问题在于两个句子的token个数不同时,两个相同位置间的相对距离不同。共3个token时,第三个与第一个token间距为1,但共4个token时,第三个与第一个token间距为0.66。
1.3 二进制型
为保证值有界 、句子长度不同时相对距离相同,可通过索引的二进制编码作为位置编码。下图为一个包含8个token,token向量长度为3的句子的位置编码。
如图,因为位置编码与embedding需要相加,所以通常位置编码的维度与embedding的维度相同。直白地说,有几个token就有几个位置编码,token向量的维度是多少位置编码向量的维度就是多少。
其主要问题在于二进制编码的位置向量处于离散空间,与输入相加后进入浮点世界,造成了空间上的浪费。
不过,我们可以观察该类型位置编码的规律。纵向来看,每个维度的编码值变化频率不同 ,蓝色变化周期为4,绿色变化周期为2,红色变化周期为1。
1.4 周期型
为保证值有界 、句子长度不同时相对距离相同 、节约空间 ,周期型位置编码包含了类似二进制型位置编码的变化规律,并将离散的二进制转为连续的 sin \sin sin或 cos \cos cos。
以 sin \sin sin为例,我们用 p o s pos pos表示embedding中token的索引,用 i i i表示token上元素的索引。于是第 p o s pos pos个token的位置编码可以表示如下:
P E ( p o s ) = [ sin ( p o s 2 0 ) , sin ( p o s 2 1 ) , ⋯ , sin ( p o s 2 i ) , ⋯ , sin ( p o s 2 d i m _ t o k e n − 1 ) ] PE_{(pos)}=[\sin(\frac{pos}{2^0}),\sin(\frac{pos}{2^1}),\cdots,\sin(\frac{pos}{2^i}),\cdots,\sin(\frac{pos}{2^{dim\_token-1}})] PE(pos)=[sin(20pos),sin(21pos),⋯,sin(2ipos),⋯,sin(2dim_token−1pos)]
其中, p o s = 0 , 1 , ⋯ , n u m _ t o k e n − 1 pos=0,1,\cdots,num\_token-1 pos=0,1,⋯,num_token−1, i = 0 , 1 , ⋯ , d i m _ t o k e n − 1 i=0,1,\cdots,dim\_token-1 i=0,1,⋯,dim_token−1。
可见,每个维度上 1 2 i \frac{1}{2^i} 2i1被用来控制变化规律,详情如下图。
但是,使用 1 2 i \frac{1}{2^i} 2i1来控制变化规律会使 P E ( p o s ) PE_{(pos)} PE(pos)很快形成一个闭环。
如图,当 d i m _ t o k e n = 3 dim\token=3 dim_token=3时,以 0.1 0.1 0.1的间隔在 [ 0 , 20 ] [0,20] [0,20]取 p o s pos pos,得到200个 P E ( p o s ) PE{(pos)} PE(pos),前100个点为蓝色,后100个点为橙色,可以清晰看到它们的重叠部分。这表明即便 p o s pos pos不同, P E ( p o s ) PE_{(pos)} PE(pos)也有很多点的值是相同的,但我们希望位置编码像地址一样是独一无二的,所以我们使用 1 1000 0 i / d i m _ t o k e n \frac{1}{10000^{i/dim\token}} 10000i/dim_token1替换 1 2 i \frac{1}{2^i} 2i1来控制变化规律。此时, P E ( p o s ) PE{(pos)} PE(pos)如下图,不再有重叠。
于是有:
P E ( p o s ) = [ sin ( w 0 p o s ) , sin ( w 1 p o s ) , ⋯ , sin ( w i p o s ) , ⋯ , sin ( w d i m _ t o k e n − 1 p o s ) ] PE_{(pos)}=[\sin(w_0pos),\sin(w_1pos),\cdots,\sin(w_ipos),\cdots,\sin(w_{dim\_token-1}pos)] PE(pos)=[sin(w0pos),sin(w1pos),⋯,sin(wipos),⋯,sin(wdim_token−1pos)]
其中, w i = 1 1000 0 i / d i m _ t o k e n w_i=\frac{1}{10000^{i/dim\_token}} wi=10000i/dim_token1。
但它仍有一个问题,不同位置编码无法相互线性转换。
2. Sinusoidal位置编码
为保证值有界 、句子长度不同时相对距离相同 、节约空间 、不同位置编码可相互线性转换 ,Sinusoidal型位置编码交替使用 sin \sin sin和 cos \cos cos,于是第 p o s pos pos个token的位置编码可表示如下:
P E ( p o s ) = [ sin ( w 0 p o s ) , cos ( w 0 p o s ) , ⋯ , sin ( w i p o s ) , cos ( w i p o s ) , ⋯ , sin ( w d i m _ t o k e n 2 − 1 p o s ) , cos ( w d i m _ t o k e n 2 − 1 p o s ) ] PE_{(pos)}=[\sin(w_0pos),\cos(w_0pos),\cdots,\sin(w_ipos),\cos(w_ipos),\cdots,\sin(w_{\frac{dim\token}{2}-1}pos),\cos(w{\frac{dim\_token}{2}-1}pos)] PE(pos)=[sin(w0pos),cos(w0pos),⋯,sin(wipos),cos(wipos),⋯,sin(w2dim_token−1pos),cos(w2dim_token−1pos)]
其中, p o s = 0 , 1 , ⋯ , n u m _ t o k e n − 1 pos=0,1,\cdots,num\_token-1 pos=0,1,⋯,num_token−1, i = 0 , 1 , ⋯ , d i m _ t o k e n 2 − 1 i=0,1,\cdots,\frac{dim\_token}{2}-1 i=0,1,⋯,2dim_token−1, w i = 1 1000 0 i / d i m _ t o k e n w_i=\frac{1}{10000^{i/dim\_token}} wi=10000i/dim_token1。
该形式下 P E ( p o s ) PE_{(pos)} PE(pos)可以线性变换,可由下式证明:
P E ( p o s + Δ p o s ) = ( sin ( w 0 ( p o s + Δ p o s ) ) cos ( w 0 ( p o s + Δ p o s ) ) ⋯ sin ( w d i m _ t o k e n 2 − 1 ( p o s + Δ p o s ) ) cos ( w d i m _ t o k e n 2 − 1 ( p o s + Δ p o s ) ) ) = ( [ cos ( w 0 Δ p o s ) sin ( w 0 Δ p o s ) − sin ( w 0 Δ p o s ) cos ( w 0 Δ p o s ) ] ⋯ 0 ⋯ ⋯ ⋯ 0 ⋯ [ cos ( w d i m _ t o k e n 2 − 1 Δ p o s ) sin ( w d i m _ t o k e n 2 − 1 Δ p o s ) − sin ( w d i m _ t o k e n 2 − 1 Δ p o s ) cos ( w d i m _ t o k e n 2 − 1 Δ p o s ) ] ) ( sin ( w 0 p o s ) cos ( w 0 p o s ) ⋯ sin ( w d i m _ t o k e n 2 − 1 p o s ) cos ( w d i m _ t o k e n 2 − 1 p o s ) ) = T Δ p o s ∗ P E ( p o s ) \begin{split} PE_{(pos+\Delta pos)} &= \left(\begin{array}{c} \sin(w_0(pos+\Delta pos))\\ \cos(w_0(pos+\Delta pos))\\ \cdots\\ \sin(w_{\frac{dim\token}{2}-1}(pos+\Delta pos))\\ \cos(w{\frac{dim\token}{2}-1}(pos+\Delta pos)) \end{array}\right)\\ &= \left(\begin{array}{c} \left[\begin{array}{c} \cos(w_0\Delta pos)&\sin(w_0\Delta pos)\\ -\sin(w_0\Delta pos)&\cos(w_0\Delta pos) \end{array}\right]&\cdots&0\\ \cdots&\cdots&\cdots\\ 0&\cdots&\left[\begin{array}{c} \cos(w{\frac{dim\token}{2}-1}\Delta pos)&\sin(w{\frac{dim\token}{2}-1}\Delta pos)\\ -\sin(w{\frac{dim\token}{2}-1}\Delta pos)&\cos(w{\frac{dim\token}{2}-1}\Delta pos) \end{array}\right]\\ \end{array}\right) \left(\begin{array}{c} \sin(w_0pos)\\ \cos(w_0pos)\\ \cdots\\ \sin(w{\frac{dim\token}{2}-1}pos)\\ \cos(w{\frac{dim\token}{2}-1}pos) \end{array}\right)\\ &= T{\Delta pos}*PE_{(pos)} \end{split} PE(pos+Δpos)= sin(w0(pos+Δpos))cos(w0(pos+Δpos))⋯sin(w2dim_token−1(pos+Δpos))cos(w2dim_token−1(pos+Δpos)) = [cos(w0Δpos)−sin(w0Δpos)sin(w0Δpos)cos(w0Δpos)]⋯0⋯⋯⋯0⋯[cos(w2dim_token−1Δpos)−sin(w2dim_token−1Δpos)sin(w2dim_token−1Δpos)cos(w2dim_token−1Δpos)] sin(w0pos)cos(w0pos)⋯sin(w2dim_token−1pos)cos(w2dim_token−1pos) =TΔpos∗PE(pos)
实际上,是用到如下和角公式中的第1项和第3项:
三、应用
1. Transformer中的位置编码
1.1 简介
上述Sinusoidal位置编码是在Transformer中针对NLP问题提出的。一个 n u m _ t o k e n = 50 , d i m _ t o k e n = 128 num\_token=50,dim\_token=128 num_token=50,dim_token=128的句子的位置编码如下图:
纵向来看,不同列的变化频率不同,从左到右频率依次下降。即使后58个维度无变化,为保证位置编码与embedding维度相同,仍然保留完整的128个维度。
位置编码在Transformer模型中的作用主要体现在以下几个方面:
(1) 捕捉词序信息 :由于位置编码与词的位置相关,因此它们可以帮助模型理解输入序列中词的顺序。这对于依赖关系分析、句法分析等任务非常重要。
(2) 防止重复使用相同输入 :由于位置编码是随机的,相同的输入序列会产生不同的位置编码。这有助于防止模型重复使用相同的输入来生成输出,从而提高模型的多样性和泛化能力。
(3) 增加模型的鲁棒性:位置编码的随机性可以帮助模型更好地处理噪声和异常值,从而提高其鲁棒性。
在实际应用中,位置编码通常在自注意力机制之前添加到输入序列中。这样,自注意力机制可以同时考虑词的语义信息和位置信息,从而更好地捕捉输入序列中的依赖关系。
1.2 实现
python
import torch.nn as nn
import torch
class PositionalEncoding(nn.Module):
def __init__(self, dim_token, max_num_token=5000):
super(PositionalEncoding, self).__init__()
self.encoding = torch.zeros(max_num_token, dim_token)
pos = torch.arange(0, max_num_token).unsqueeze(dim=1) # 不是每次实时计算,而是预估一个pos上限
_2i = torch.arange(0, dim_token, step=2) # 共计算dim_token/2-1次,每次计算两个值sin和cos
self.encoding[:, 0::2] = torch.sin(pos / (10000 ** (_2i / dim_token)))
self.encoding[:, 1::2] = torch.cos(pos / (10000 ** (_2i / dim_token)))
def forward(self, x):
batch_size, num_token, dim_token = x.size()
return self.encoding[:num_token, :] # num_token是padding前单词的数量
if __name__ == '__main__':
x = torch.randn((2, 3, 6)) # [batch_size,num_token,dim_token]
pe = PositionalEncoding(6) # dim_token必须是偶数
y = pe(x)
2. DETR中的位置编码
2.1 简介
DETR将Transformer用在了CV的目标检测任务中,目标检测要求预测目标框,因此位置信息也很重要,所以也需要引入位置编码。DETR引入的位置编码也是Sinusoidal形式的。
不过,图像的维度与句子的维度不同。句子维度为 [ b a t c h _ s i z e , n u m _ t o k e n , d i m _ t o k e n ] [batch\_size,num\_token,dim\_token] [batch_size,num_token,dim_token],Transformer中位置编码与句子维度相同,一个位置编码向量表示一个句子(位置编码向量长度 = d i m _ t o k e n =dim\_token =dim_token)。图像维度为 [ b a t c h _ s i z e , n u m _ c h a n n e l , h e i g h t , w i d t h ] [batch\_size,num\_channel,height,width] [batch_size,num_channel,height,width],DETR中一个位置编码向量表示一个像素(位置编码向量长度 = n u m _ c h a n n e l =num\_channel =num_channel,一半的向量表示横坐标,另一半表示纵坐标)。此外,DETR还考虑了padding问题,仅针对非padding区域计算位置编码。
不仅如此,DETR中位置编码仅在Attention的 Q Q Q和 K K K中,而Transformer在 Q Q Q、 K K K、 V V V上都有。
2.2 实现
python
import torch.nn as nn
import torch
class PositionEmbeddingSine(nn.Module):
def __init__(self, num_channel=64, temperature=10000):
super().__init__()
self.num_channel = num_channel
self.temperature = temperature
def forward(self, mask):
assert mask is not None
not_mask = ~mask # mask中True表示padding区域,False表示非padding区域
pos_y = not_mask.cumsum(1) # 如果是padding区域,pos不增加
pos_x = not_mask.cumsum(2) # 横、纵坐标均计算pos
i = torch.arange(self.num_channel)
wi = self.temperature ** (2 * (i // 2) / self.num_channel) # 2i = i // 2
pos_x = pos_x[:, :, :, None] / wi # 所有像素都有num_channel/2个横坐标
pos_y = pos_y[:, :, :, None] / wi # 所有像素都有num_channel/2个纵坐标
pos_x = torch.stack((pos_x[:, :, :, 0::2].sin(), pos_x[:, :, :, 1::2].cos()), dim=4).flatten(3) # 原本dim只到3,在第4个维度上stack然后flatten能使sin和cos交替出现
pos_y = torch.stack((pos_y[:, :, :, 0::2].sin(), pos_y[:, :, :, 1::2].cos()), dim=4).flatten(3)
pos = torch.cat((pos_y, pos_x), dim=3).permute(0, 3, 1, 2) # 前半部分为纵坐标,后半部分为横坐标
return pos
if __name__ == '__main__':
x = torch.randn((8, 4, 5, 6)) # [batch_size,num_channel,height,width]
mask = torch.zeros((8, 5, 6)) # 同一图像上mask在每个通道上都一样
mask = mask.bool() # 默认没有padding
pes = PositionEmbeddingSine(2) # num_channel必须是偶数,这里输入的是num_channel/2,一半用于横坐标,另一半用于纵坐标
y = pes(mask)
致谢:
本博客仅做记录使用,无任何商业用途,参考内容如下:
四种Position Embedding的原理与PyTorch手写逐行实现(Transformer/ViT/Swin-T/MAE)
【Transformer系列】深入浅出理解Positional Encoding位置编码
Transformer学习笔记一:Positional Encoding(位置编码)
DE⫶TR: End-to-End Object Detection with Transformers