Vision Transformer(ViT)深入浅出

Vision Transformer(ViT) 深入浅出

在了解ViT之前首先你要知道什么是Transformer,对于Transformer的学习可以看我的文章:Transformer深入浅出

简介

具体怎么实现可以见项目:Vision-Transformer

结构

整体架构

  • Patch embedding是一种方法,用于将图像分割成固定大小的块(patches)。例如,如果输入图像的大小是224x224,并且将图像分成 16x16 大小的块,这样就会得到 224/16*224/16=196 个块(patches)。每个块的大小是 16x16 像素,每个像素通常由 RGB 三个通道组成,因此每个块的维度是 16x16×3=768。然后,通过线性投射,将每个 768 维的块映射到一个更高维度的向量空间。例如,如果线性投射的维度是N(通常与patch的维度相同),那么投射后的每个块的维度仍然是 N。因此,整个图像被转换成一个长度为 196 的序列,每个序列元素都那是一个 N 维的向量。在这个过程中,通常会添加一个特殊的标记(例如CLS标记),使得最终的序列长度为197。这样的处理方式将一个视觉问题转换成了一个序列到序列(seq2seq)的问题。

  • ViT同样需要加入位置编码(positional encoding)来为输入序列引入位置信息。位置编码可以被理解为一个表格,其有N行,N的大小与输入序列的长度相同。每一行代表一个向量,这个向量的维度与输入序列embedding的维度相同(768)。需要注意的是,位置编码的操作是将其与输入序列的embedding进行加法操作(sum),而不是简单地将其拼接在一起(concatenate)。加入位置编码信息之后,整个序列的维度依然是197x768。

输入

分类标记(cls token)

位置编码(Positional Encoding)

多头注意力机制(Multi-HeadAttention, MHA)

首先我们来看Transformer里的多头注意力机制是什么样子:

我们的ViT的就是把带有位置编码的词向量改为了带有位置编码的图,在原文中也就是197x768大小,也就是L=197,d=768。从代码的角度来看就是这样的:

原本的Transformer中是三个线性层进行三次变换,这里只用一个线性层,然后扩展了三倍,最后再拆分开。原理是采用了 8 个注意力头(h=8),模型的隐藏维度 768 被均分给 8 个头,因此每个头的维度 dk =768/8=96

前馈神经网络(Feedforward Neural Network, FFN)

我们也可以叫他为多层感知机(Multi-Layer Perceptron, MLP)。

网络层次

以ViT-Base为例解释为:12 层,隐藏维度 768,MLP 中间维度 3072,12 个注意力头,总参数量 86M(8600 万)

其中:

  • Model:模型名称
  • Layers Transformer:Encoder 层数
  • Hidden size D:特征向量维度(token embedding 的维度)
  • MLP size:Encoder 里面 MLP 中间层的维度
  • Heads:多头自注意力的头数
  • Params:模型总参数量

实验分析

结论:

  1. 更大规模的预训练数据很关键;
  2. patch更细通常更强,但更耗算力;
  3. ViT的算力性价比突出(多个数据集上过强CNN基线,但预训练成本远低于当时的强基线)。

数据大小

数据大小对结果的影响,ViT主要是对于大规模的数据集效果非常好,对于我们切割小的patch也会提升效果:

预训练计算量

结论:

  1. ViT在"性能/计算量"权衡上总体优于ResNet
  2. Hybrid在小算力预算下略优于纯ViT,但模型做大后优势消肖失
  3. ViT在实验范围内看起来还没"饱和":继续堆规模/算力还有上升空间

    其中Hybrid代表的意思是混合模型。

内部表征分析

分别对"Patch Embedding/位置编码/注意力范围"做了分析:

如果我们增加Patch效果会更好,但超参数对其学习影响会加深

相关推荐
AllData公司负责人12 分钟前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
数字新视界15 分钟前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术19 分钟前
阿里云 EMR Serverless StarRocks(Stella)× Paimon:让多模态数据湖从“存得下”走向“找得到、用得上”
人工智能
class心平气和35 分钟前
AI 赋能测试流程:从基础概念到测试全流程实战
人工智能
猿人谷36 分钟前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native
字节跳动开源41 分钟前
OpenViking 3D理解模型上线轴测八视图及PMI解析
人工智能·开源·aigc
阿里云大数据AI技术1 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
code2cat1 小时前
【随笔】MCP长任务:查询已经返回,为什么任务还没有完成
javascript·人工智能·后端·mcp
玄魂1 小时前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·agent·视觉设计
写标小何2 小时前
AI 标书工具技术架构解析:从文件解析到排版导出的工程实践
人工智能