Swin Transformer 详解:窗口注意力如何成为新一代视觉 backboneViT 把图像切成 patch 直接做全局自注意力,效果虽好,但序列长度随分辨率平方增长,高分辨率场景根本算不动,而且全程单一分辨率的特征对检测、分割这类密集预测任务并不友好。Swin Transformer(微软亚洲研究院,2021)用两个设计回答了这个问题:窗口内注意力控制计算量,移位窗口(Shifted Window)补上窗口间的信息交互,再配合分层下采样搭出金字塔特征。这篇文章沿着数据在 Swin 里的流动顺序,从 Patch Embedding 一路讲到 Patch Merging,把每一步的张