SwinTransformer

传统Transformer的做法

• patch划分: 将图像划分为多个patch，每个patch包含多个像素点

• 序列构建: 将patch作为序列中的token进行处理

• 粒度选择: patch越小（如

  4×44×44×4

  ），序列长度越长；patch越大（如

  8×88×88×8

  ），序列长度越短

  序列长度与效率问题

  • 效率问题: 序列越长，计算注意力时每个token需要与其他所有token进行计算，效率显著降低
  • 计算复杂度: 传统Transformer需要对长序列进行多次计算（如8次、12次），进一步加剧效率问题

Swin Transformer的解决方案

• 核心思想: 采用窗口和分层的形式替代长序列方法

• 分层处理:

  • 第一层: 使用细粒度划分（如400个token），提取详细特征
  • 第二层: 进行合并（如两两合并为200个token）
  • 第三层: 继续合并（如再合并为100个token）

• 类比CNN: 这种分层结构与CNN中的感受野层级结构类似，随着层数增加，感受野逐渐增大

• 效率优势: 通过分层处理，计算量逐层减少，解决了传统Transformer的效率问题

• 关键创新: 引入分层结构，使Transformer能够像CNN一样具有层级特征提取能力

• 与传统Transformer区别:

  • 传统方法每层处理相同长度的序列
  • Swin Transformer通过分层合并逐步减少token数量

• 效果类比: 在特征提取效果和方式上都与CNN更加接近，解决了传统Transformer缺乏层级结构的问题