视觉Transformer（ViT）对原始的Transformer架构进行了最小限度的调整，以用于处理二维图像。具体而言，ViT会提取N个不重叠的图像补丁， x i ∈ R h × w x_{i} \in \mathbb{R}^{h ×w} xi∈Rh×w ，对其进行线性投影，然后将它们光栅化为一维标记 z i ∈ R d z_{i} \in \mathbb{R}^{d} zi∈Rd 。输入到后续Transformer编码器的标记序列为：
z = [ z c l s , E x 1 , E x 2 , . . . , E x N ] + p ( 1 ) z = [z_{cls}, Ex_{1}, Ex_{2}, ..., Ex_{N}] + p \quad(1) z=[zcls,Ex1,Ex2,...,ExN]+p(1)
其中，E执行的投影操作等效于二维卷积。如图1所示，一个可选的可学习分类标记 z c l s z_{cls} zcls被添加到这个序列的开头，它在编码器最后一层的表示会作为分类层使用的最终表示。
此外，一个1D可学习的位置嵌入 p ∈ R N × d p \in \mathbb{R}^{N ×d} p∈RN×d被添加到这些标记中，用于保留位置信息 ，因为Transformer后续的自注意力操作具有排列不变性。然后，这些标记会通过由L个Transformer层组成的编码器。每个层 ℓ \ell ℓ由多头自注意力机制、层归一化（LN）和多层感知器（MLP）模块构成，具体如下：
y ℓ = M S A ( L N ( z ℓ ) ) + z ℓ ( 2 ) y^{\ell} = MSA(LN(z^{\ell})) + z^{\ell} \quad(2) yℓ=MSA(LN(zℓ))+zℓ(2)
z ℓ + 1 = M L P ( L N ( y ℓ ) ) + y ℓ ( 3 ) z^{\ell + 1} = MLP(LN(y^{\ell})) + y^{\ell} \quad(3) zℓ+1=MLP(LN(yℓ))+yℓ(3)
最后，如果在输入中添加了 z c l s z_{cls} zcls，则使用线性分类器基于 z c l s L ∈ R d z_{cls}^{L} \in \mathbb{R}^{d} zclsL∈Rd对编码后的输入进行分类；否则，对所有标记 z L z^{L} zL进行全局平均池化，再进行分类。
由于Transformer是一个灵活的架构，可以对任何输入标记序列 z ∈ R N × d z \in \mathbb{R}^{N×d} z∈RN×d进行操作 ，接下来将描述视频标记化的策略。
ViT 详细介绍参考：TODO。
3.2 嵌入视频片段
这里，作者考虑两种将视频 V ∈ R T × H × W × C V \in \mathbb{R}^{T×H×W×C} V∈RT×H×W×C映射到标记序列 z ~ ∈ R n t × n h × n w × d \tilde{z} \in \mathbb{R}^{n_{t}×n_{h}×n_{w}×d} z~∈Rnt×nh×nw×d的简单方法。之后再添加位置嵌入并将其重塑为 R N × d \mathbb{R}^{N×d} RN×d，以获得输入到Transformer的 z z z。
图2：均匀帧采样：我们简单地采样 n t n_{t} nt帧，并按照ViT独立嵌入每个2D帧。
均匀帧采样
如图2所示，这是一种直接的视频标记化方法。从输入视频片段中均匀采样 n t n_{t} nt帧，使用与ViT相同的方法独立嵌入每个2D帧，然后将所有这些标记连接在一起。
具体来说，如果像ViT中那样，从每个帧中提取 n h ⋅ n w n_{h} \cdot n_{w} nh⋅nw个不重叠的图像补丁，那么总共 n t ⋅ n h ⋅ n w n_{t} \cdot n_{h} \cdot n_{w} nt⋅nh⋅nw个标记将被输入到Transformer编码器中。
如图3所示，这是从输入体数据中提取不重叠的时空"管块" ，并将其线性投影到 R d \mathbb{R}^{d} Rd。
这种方法是ViT嵌入到3D的扩展，对应于3D卷积。对于维度为 t × h × w t×h×w t×h×w的管块， n t = ⌊ T t ⌋ n_{t} = \lfloor\frac{T}{t}\rfloor nt=⌊tT⌋， n h = ⌊ H h ⌋ n_{h} = \lfloor\frac{H}{h}\rfloor nh=⌊hH⌋， n w = ⌊ W w ⌋ n_{w} = \lfloor\frac{W}{w}\rfloor nw=⌊wW⌋，分别从时间、高度和宽度维度提取标记。
该模型是对 ViT 的直接扩展，它简单地从视频中提取的所有时空标记 z 0 z^{0} z0输入到Transformer编码器中 。
【 Is space-time attention all you need for video understanding?】论文中在其"联合时空"模型中也探索了这种方法。与CNN架构不同，在CNN中感受野随着层数线性增长，而每个 Transformer 层对所有（时空标记之间的）成对（关系）进行建模 ，因此从第一层开始就可以对视频中的长距离交互进行建模。
第一个是空间编码器 ，仅对从同一时间索引提取的标记之间的交互进行建模 。经过 L s L_{s} Ls层后，得到每个时间索引的表示 h i ∈ R d h_{i} \in \mathbb{R}^{d} hi∈Rd：如果在输入中添加了分类标记 z c l s z_{cls} zcls（公式1），这就是编码后的分类标记 z c l s L s z_{cls}^{L_{s}} zclsLs；否则，是空间编码器输出的标记的全局平均池化结果 z L s z^{L_{s}} zLs。
帧级表示 h i h_{i} hi被连接成 H ∈ R n t × d H \in \mathbb{R}^{n_{t}×d} H∈Rnt×d，然后通过由 L t L_{t} Lt个Transformer层组成的时间编码器 ，对来自不同时间索引的标记之间的交互进行建模。最后对这个编码器的输出标记进行分类。
尽管该模型的Transformer层比模型1更多 （因此参数也更多），但它所需的浮点运算（FLOPs）更少 ，因为两个独立的Transformer模块的计算复杂度为 O ( ( n h ⋅ n w ) 2 + n t 2 ) O((n_{h} \cdot n_{w})^{2}+n_{t}^{2}) O((nh⋅nw)2+nt2)，而模型1的计算复杂度为 O ( ( n t ⋅ n h ⋅ n w ) 2 ) O((n_{t} \cdot n_{h} \cdot n_{w})^{2}) O((nt⋅nh⋅nw)2) 。
通过将标记 z z z从 R 1 × n t ⋅ n h ⋅ n w ⋅ d \mathbb{R}^{1×n_t·n_h·n_w·d} R1×nt⋅nh⋅nw⋅d重塑为 R n t × n h ⋅ n w ⋅ d \mathbb{R}^{n_t×n_h·n_w·d} Rnt×nh⋅nw⋅d（表示为 z s z_s zs）来计算空间自注意力，这样可以高效地执行此操作。类似地，时间自注意力的输入 z t z_t zt被重塑为 R n h ⋅ n w × n t ⋅ d \mathbb{R}^{n_h·n_w×n_t·d} Rnh⋅nw×nt⋅d（假设最前面的维度是"批量维度"）。作者在此定义的分解式自注意力如下：
y s ℓ = M S A ( L N ( z s ℓ ) ) + z s ℓ ( 4 ) y^{\ell}{s} = MSA(LN(z^{\ell}{s})) + z^{\ell}{s} \quad(4) ysℓ=MSA(LN(zsℓ))+zsℓ(4)
y t ℓ = M S A ( L N ( y s ℓ ) ) + y s ℓ ( 5 ) y^{\ell}{t} = MSA(LN(y^{\ell}{s})) + y^{\ell}{s} \quad(5) ytℓ=MSA(LN(ysℓ))+ysℓ(5)
z ℓ + 1 = M L P ( L N ( y t ℓ ) ) + y t ℓ ( 6 ) z^{\ell + 1} = MLP(LN(y^{\ell}{t})) + y^{\ell}{t} \quad(6) zℓ+1=MLP(LN(ytℓ))+ytℓ(6)
首先，每个头的注意力操作定义为：
Attention ( Q , K , V ) = Softmax ( Q K T d k ) V ( 7 ) \text{Attention}(Q, K, V) = \text{Softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V \quad (7) Attention(Q,K,V)=Softmax(dk QKT)V(7)
在自注意力中，查询 Q = X W q Q = XW_q Q=XWq，键 K = X W k K = XW_k K=XWk，值 V = X W v V = XW_v V=XWv 是输入 X X X 的线性投影，其中 X , Q , K , V ∈ R N × d X, Q, K, V \in \mathbb{R}^{N \times d} X,Q,K,V∈RN×d。请注意，在未分解的情况下（模型1），空间和时间维度合并为 N = n t ⋅ n h ⋅ n w N = n_t \cdot n_h \cdot n_w N=nt⋅nh⋅nw。
这里的主要思路是，通过构造 空间维度的 K s , V s ∈ R n h ⋅ n w × d K_s, V_s \in \mathbb{R}^{n_h \cdot n_w \times d} Ks,Vs∈Rnh⋅nw×d 和时间维度的 K t , V t ∈ R n t × d K_t, V_t \in \mathbb{R}^{n_t \times d} Kt,Vt∈Rnt×d，也就是对应这些维度的键和值，来修改每个查询的键和值，使其仅关注来自相同空间和时间索引的标记。
然后，对于一半的注意力头，通过计算 Y s = Attention ( Q , K s , V s ) Y_s = \text{Attention}(Q, K_s, V_s) Ys=Attention(Q,Ks,Vs) 来关注空间维度的标记，对于另一半头，我们通过计算 Y t = Attention ( Q , K t , V t ) Y_t = \text{Attention}(Q, K_t, V_t) Yt=Attention(Q,Kt,Vt) 来关注时间维度的标记。由于这里只是改变了每个查询的注意力范围，所以注意力操作的维度与未分解的情况相同，即 Y s , Y t ∈ R N × d Y_s, Y_t \in \mathbb{R}^{N \times d} Ys,Yt∈RN×d。
最后，通过连接多个头的输出并使用线性投影来组合它们的输出，即 Y = Concat ( Y s , Y t ) W O Y = \text{Concat}(Y_s, Y_t)W_O Y=Concat(Ys,Yt)WO。
位置嵌入
将位置嵌入 p p p添加到每个输入标记中（公式1）。由于视频模型的标记数量是预训练图像模型的 n t n_t nt倍，可以通过在时间维度上"重复"位置嵌入 ，将其从 R n w ⋅ n h × d \mathbb{R}^{n_w \cdot n_h×d} Rnw⋅nh×d扩展到 R n t ⋅ n h ⋅ n w × d \mathbb{R}^{n_t·n_h·n_w ×d} Rnt⋅nh⋅nw×d来进行初始化。所以，在初始化时，所有具有相同空间索引的标记都具有相同的嵌入，然后再进行微调。
嵌入权重， E E E
当使用"管块嵌入"标记化方法（3.2节）时，与预训练模型中的二维张量 E i m a g e E_{image} Eimage 相比，嵌入滤波器 E E E是一个三维张量 。在视频分类模型中，从二维滤波器（预训练的图像模型）出发，初始化三维卷积滤波器（视频模型）的一种常见方法是：通过在时间维度上复制滤波器并对其求平均值来"膨胀"它们 ，其公式如下：
E = 1 t [ E i m a g e , ... , E i m a g e , ... , E i m a g e ] ( 8 ) E = \frac{1}{t} [E_{image}, \ldots, E_{image}, \ldots, E_{image}] \quad (8) E=t1[Eimage,...,Eimage,...,Eimage](8)
作者还考虑了另一种策略，称之为"中心帧初始化 "，其中除了在中心位置 ⌊ t 2 ⌋ \lfloor\frac{t}{2}\rfloor ⌊2t⌋处， E E E在所有时间位置都初始化为零，即：
E = [ 0 , ... , E i m a g e , ... , 0 ] ( 9 ) E = [0, \ldots, E_{image}, \ldots, 0] \quad (9) E=[0,...,Eimage,...,0](9)
因此，在初始化时，三维卷积滤波器的效果类似于"均匀帧采样"（3.2节），同时也使模型能够在训练过程中学习从多个帧中聚合时间信息。
