【AI】VIT Transformer论文学习笔记

论文：Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16x16 words: Transformers for image recognition at scale $J$ . arXiv preprint arXiv:2010.11929, 2020

1.文章背景

计算机视觉当前最热门的两大基础模型就是Transformer和CNN了。

Transformer的应用

Transformer提出后在NLP领域中取得了极好的效果，其全Attention的结构，不仅增强了特征提取能力，还保持了并行计算的特点，可以又快又好的完成NLP领域内几乎所有任务，极大地推动自然语言处理的发展。

但在其在计算机视觉领域的应用还非常有限。在此之前只有目标检测(Object detection)中的DETR大规模使用了Transformer，其他领域很少，而纯Transformer结构的网络则是没有。

VIT这篇文章就是将Transformer模型应用在了CV领域，它将图像处理成Transformer模型可以应用的形式，沿用NLP领域中Transformer的方法，直接验证了其精度可以和ResNet不相上下，展示了在计算机视觉中使用纯Transformer结构的可能，为Transformer在CV领域的应用打开了大门。

Transformer的优势

1.并行计算

例如RNN，它每一层的参数都依赖前一个参数的计算结果，较难进行并行计算。而例如CNN，它每一层的计算的输入都是上一次的结果直接获取来的，可以进行并行计算，Transformer模型也具有这种能力。

2.全局视野

其计算可以层叠更大的图像范围

3.灵活的堆叠能力

由于MultiHead Attention机制，其堆叠能力更加灵活

2.文章导读

2.1摘要核心

Transformer在NLP中已经成为经典
在CV中，Attention机制只是作为一个补充在使用
我们使用纯Transformer结构就可以在图像分类任务上取得不错的结果
在足够大的数据集上训练后，ViT可以拿到和CNN的SOTA不相上下的结果

2.2 VIT结构

VIT的主要思想就是迁移在NLP中应用很好的Transformer模型，以求在使用时做出最小的改动，来验证模型在CV领域应用的效果。要把原来的NLP中的模型应用在CV领域，需要对图像输入做出处理，这就隐身出来本文的核心idea：把图像切分重排，当作输入。

2.3 Attention 注意力机制

Attention其本质可以认为是加权平均。

输入层的各个参数与权重相乘后求和得出一个预测值。权重是如何获取的呢，实际上就是相似度计算。

将输入的图像解析之后，每个输入的要素都转换成坐标系上的向量，计算要素的相似度就可以转换为计算要素向量在坐标系上的距离，距离近的相识度高，距离远的相识度低，就可以使用向量的点积运算来做处理。

Q是输入值，K是关键词，self attention的计算实际上是在计算每个q和每个k的相似度。除以dk的平方根是为了避免较大的数值，较大的数值会导致softmax之后值更极端，softmax的极端值会导致梯度消失。softmax是将所有的值的权重和置为1，这个操作就想人的注意力似的，人对所有这些要素的注意力为1，有的要素注意力多点，有的要素注意力少点，softmax之后可以使权重更加集中。

相乘之后再进行相加，类比一词多意理解，这个词的多个意思都代表了这个词，具体要使用哪个意思需要借助其在句子中的意思。

然后进行MultiHead Attention操作，有多个Wq，Wk，Wv重复多次，结果concat一起。