LLM--VIT简介

文章目录

• 前言--CNN缺点
• 论文内容概述
• VIT模型结构解析

论文精度视频 ：VIT论文精度，这里做简要概述

前言--CNN缺点

CNN神经网络是ai算法中最重要，最经典的算法之一，在vit出现之前，Resnet模型一直都是最好的视觉模型；当然CNN也不是没有缺点，其中有两个典型的缺点：局部性和平移不变性。

1. 局部性 ：这个即使有点也是缺点，CNN认为最重要的信息是局部的，像素点距离越近重要程度越高 。这一点也是优点 ，因为以一个物体的图像来说，像素点越近，重要程度肯定越高；但是同时也是缺点，如果需要找距离较长的关系，那么就需要堆叠CNN网络，使得感受野增大。
2. 平移不变性：CNN认为一个物体，无论在一张图片什么位置，他的特征是一样的。

论文内容概述

VIT效果 ：在大规模数据进行预训练 ，再微调 能和最好的CNN效果一样(ResNet)。

Transformer：

• 参数量大，1000亿+参数 ，数据量也大。
• 运用到视觉难点 ：
  • 自注意机制时间复杂度高O(n^2)
  • transformer序列长度不大，如：512

---

视觉运用Transformer 难点举例*，以一张单色图片，参数为：1* 224 * 224 为例。

VIT解决方法

VIT模型结构解析