视觉Transformer（ViT）Transformer 已成功应用于计算机视觉领域，并在许多任务中表现出色。在视觉领域判别任务最常见的选择是视觉 Transformer（Vision Transformer，简称 ViT）（Dosovitskiy et al., 2020）。在使用 Transformer 时，需要决定如何将输入图像转换为 token，最简单的选择是将每个像素作为一个 token 并按照线性投影进行转换。由于Transformer的复杂度随 token 数量平方增长，所以需要限制 token 数量。