MLP-Mixer: AN all MLP Architecture for Vision

  • 发表于NeurIPS 2021, 由Google Research, Brain Team发表。

Mixer Architecture

Introduction

  • 当前的深度视觉结构包含融合特征(mix features)的层:(i)在一个给定的空间位置融合。(ii)在不同的空间位置,或者一次融合所有。
  • 在CNN中,(ii) 是由N x N(N > 1 )卷积和池化完成的。更深的神经元有更深的感受野。同时 1 x 1的卷积完成了(i)。
  • 在 Vision Transformer和其他基于attention-based architectures,自监督层同时做到了(i)和(ii), 而MLP-blocks 做到了(i)。
  • 因此Mixer architecture的内在思想是去清晰区分per-location(channel-mixing) 操作(i) 以及cross-location(token-mixing)operations(ii)。这些操作都由MLPs完成。

Steps

  1. Mixer的输入是S个无重叠的图像块,每一块投影成维度C的隐层,也就是一个二维真值输入表, X ∈ R S × C X \in \mathbb{R}^{S \times C} X∈RS×C。 S维度就代表空间,C代表同一空间位置的不同特征。
  2. Mixer 包括同一尺寸的多层,每层包含两个MLP块。第一个是token-mixing MLP:作用于X的列(通过将X转置 X T X^T XT)。第二个是channel-mixing MLP:作用于行。
  3. 每一个模块包含两个全连接层和一个非线性层。

相关推荐
寻丶幽风5 小时前
论文阅读笔记——VGGT: Visual Geometry Grounded Transformer
论文阅读·笔记·transformer·三维重建·3dgs·vggt
张较瘦_6 小时前
[论文阅读] 人工智能 + 软件工程 | Call Me Maybe:用图神经网络增强JavaScript调用图构建
论文阅读·人工智能·软件工程
qq_416276428 小时前
当SAM遇到声纳图像时之论文阅读
论文阅读
王上上9 小时前
【论文阅读38】-结合应力预测位移
论文阅读
张较瘦_11 天前
[论文阅读] 软件工程 + 教学 | 软件工程项目管理课程改革:从传统教学到以学生为中心的混合式学习实践
论文阅读·学习·软件工程
ZHANG8023ZHEN11 天前
GameFormer论文阅读
论文阅读
青椒大仙KI1111 天前
论文笔记 <交通灯><多智能体>MetaLight:基于价值的元强化学习用于交通信号控制
论文阅读
莱茶荼菜11 天前
论文阅读-单目视觉惯性系统时间标定(二)
论文阅读
ZHANG8023ZHEN11 天前
SIMPL论文阅读
论文阅读
Catching Star11 天前
【论文笔记】【强化微调】T-GRPO:对视频数据进行强化微调
论文阅读