计算机视觉领域 选择 卷积神经网络 还是选择 Vision Transformer
flyfish
如果接触过计算机视觉，一定听过一个经典结论：卷积神经网络（CNN）是为图像而生的。
同样是神经网络，同样是反向传播训练，为什么全连接网络处理图像始终效率低下？为什么在数据量有限的场景下CNN很管用？
答案藏在一个看似抽象却决定了模型本质的概念里------归纳偏置（Inductive Bias）。它不是模型训练出的参数，而是设计者刻进网络结构里的先天认知框架；它决定了模型如何理解数据、如何从有限样本中泛化，也最终决定了模型的能力边界。
什么是归纳偏置
机器学习的本质，是从有限的训练数据中归纳出通用规律，再应用到从未见过的新样本上。但逻辑学上一个冰冷的事实是：有限的观测永远无法唯一确定无限的泛化结果。同一批训练数据，可以拟合出无数种函数，它们在训练集上表现完全一致，但在测试集上却天差地别。
不存在普适最优的学习算法，所有算法都必须依赖对数据分布的先验假设，才能从无数可能性中筛选出合理的解。
这些被内置到算法中的先验假设，就是归纳偏置。
它不是可训练的权重，不是可调的超参数，而是由模型架构、运算规则直接决定的学习偏好。
线性回归、决策树、卷积神经网络等都存在归纳偏置,
例如：
线性回归假设数据近似满足线性关系；
决策树假设数据可以通过递归划分特征空间进行建模；
支持向量机假设具有较大分类间隔的决策边界具有更好的泛化能力；
CNN 则假设自然图像具有特定的空间统计规律。
所有这些假设，最终都指向同一个作用：引导模型在有限数据中实现有效泛化。没有归纳偏置，模型就像在无边的黑暗里摸索，再多数据也难以找到正确的方向。
一、卷积神经网络（CNN）的归纳偏置（Inductive Bias）
CNN复刻了人类对自然视觉世界的基本认知。
1. 局部性（Locality）
CNN的第一个假设是：视觉语义从局部涌现，图像的语义信息是局部涌现的，邻近像素的关联性远高于远距离像素。
边缘、纹理、角点、色块......所有基础视觉特征，都只存在于一小片相邻像素中。判断一条线是不是边缘，只需要看它周围几个像素的亮度差异；识别一块纹理，也只需要局部窗口的信息。远处的像素哪怕完全不同，也不会影响这个局部特征的判定。
2. 平移等变性（Translation-equivariant）
CNN的第二个假设是：特征是全图通用的，同一个视觉特征，可以出现在图像的任意位置，其本质不会改变 。位置细节让位于语义存在，对于高层语义任务而言，特征的大致存在，比它的精确像素位置更重要。
一只猫的耳朵，无论出现在画面左上角还是右下角，都是猫耳朵；一条竖直边缘，无论在图片哪个位置，都是竖直边缘。视觉特征的定义，和它的空间坐标无关。一个猫耳朵，无论出现在图像的任何位置，其局部视觉模式都没有发生变化。因此，模型不应该因为空间坐标不同，就学习两套完全不同的检测规则。
二、如何将归纳偏置编码进 卷积神经网络（CNN）
归纳偏置只是设计思想，要真正体现在计算过程中，还需要具体的网络结构。
CNN 主要采用了两种结构设计。
局部连接（Local Connectivity）
为了实现局部性的归纳偏置，CNN 引入了局部连接。
与全连接层不同，卷积层中的每个神经元只与输入图像的一小块局部区域建立连接，而不是连接到所有输入像素。
对应的概念称为感受野（Receptive Field） ，即某个神经元能够感知到的输入区域。
局部连接带来了两个直接好处。
第一，大幅减少了参数数量，使网络更容易训练，也降低了过拟合风险。
第二，它迫使网络首先学习局部视觉模式，而不是一开始就建模复杂的全局关系。
随着卷积层不断堆叠，神经元的感受野逐渐扩大，网络最终仍然能够获得全局信息。
参数共享（Parameter Sharing）
为了实现平移等变性的归纳偏置，CNN 引入了参数共享。
参数共享意味着，同一个卷积核会在整张特征图上不断滑动，并重复使用同一组参数。
卷积核学习的是什么是边缘、什么是纹理、什么是角点、，而不是哪个位置存在边缘。
因此，同一套检测规则能够应用到整幅图像，而无需针对不同位置分别学习不同参数。
参数共享不仅极大减少了模型参数，也使得特征检测具有空间一致性。
三、卷积结构的性质
当局部连接与参数共享共同作用于卷积运算时，CNN 会自然表现出一些数学性质。
其中最重要的是平移等变性。
平移等变性（Translation Equivariance）
平移等变性是卷积运算天然具有的数学性质。
它表示：
如果输入图像整体发生平移，那么输出特征图也会发生相同的平移，而特征响应本身不会发生改变。
换句话说，输入移动多少，输出就移动多少。
卷积层不会因为目标出现在不同的位置，就改变它的检测方式。
这一性质正是参数共享带来的直接结果。
而全连接网络则不具有这种性质。
在全连接层中，每个空间位置对应不同的参数。如果训练过程中数字"3"始终位于图像上方，那么模型学习到的实际上是"上方某些像素组合代表数字 3"，而不是数字 3 本身的形状特征。
因此，当数字移动到其他位置时，全连接网络往往需要重新学习。
近似平移不变性（Approximate Translation Invariance）
对于图像分类而言，我们真正希望的是：目标发生一定范围内的移动时，最终分类结果保持不变。
卷积层本身无法实现这一目标，因为它满足的是平移等变性，而不是平移不变性。
因此，CNN 通常会加入池化层（Pooling）或步长卷积（Strided Convolution）等空间降采样操作。
这些操作降低了空间分辨率，减弱了模型对精确位置的敏感程度，使网络获得一定程度的局部平移不变性。
需要强调的是，这种不变性只是近似成立。
它只适用于有限范围内的平移，并不会完全消除位置信息。
四、深层 CNN 学到了什么
归纳偏置决定了 CNN 更倾向于学习什么样的函数；网络结构将这些归纳偏置固化为具体的计算规则；卷积运算又进一步赋予网络平移等变性等数学性质。那么，当这些卷积层不断堆叠、经过大量数据训练之后，CNN 最终学到了什么？
答案是：层级化特征表示（Hierarchical Feature Representation）。
层级化特征表示通常并不被认为是 CNN 的原生归纳偏置，也不是卷积运算天然具有的数学性质，而是深层卷积网络在训练过程中逐渐形成的一种特征表示能力（representation）。
这种表示能力来源于多层卷积的逐级组合。
bash
多层卷积不断堆叠
│
┌───────────┴───────────┐
│ │
▼ ▼
感受野逐层扩大 特征逐层组合
(Receptive Field) (Feature Composition)
│ │
└───────────┬───────────┘
▼
Hierarchical Feature Representation
（层级化特征表示）每一层卷积都以上一层提取到的特征作为输入，在已有特征的基础上继续学习更复杂的模式。同时，随着网络不断加深，神经元的感受野逐渐扩大，每个神经元能够利用的上下文信息也越来越丰富。因此，网络能够不断将简单特征组合成更复杂、更抽象的视觉概念。
在实际训练过程中，CNN 往往会形成较为稳定的层级表示：
浅层网络 Shallow Layers主要学习低层视觉特征（Low-level Visual Features），例如边缘、角点、颜色变化和简单纹理。这些特征与具体任务关系不大，是大多数自然图像都具有的基础视觉模式。
中层网络 Middle Layers开始将这些基础特征组合成更复杂的局部结构，例如圆形、网格纹理、物体轮廓以及各种部件（Parts）。这一阶段的特征已经具有一定的语义信息，但仍然属于局部表示。
深层网络 Deep Layers进一步将多个局部结构组合成完整的目标语义，例如人脸、汽车、猫、树木等具有明确语义的对象。这些特征更加抽象，也更加依赖具体任务。
整个过程可以概括为：
bash
Deep CNN
│
┌────────────┴────────────┐
│ │
▼ ▼
Increasing Feature
Receptive Field Composition
（感受野扩大） （特征组合）
│ │
└────────────┬────────────┘
▼
Hierarchical Feature Representation
（层级化特征表示）
│
┌────────────┼────────────┐
▼ ▼ ▼
Low-level Mid-level High-level
Features Features Features
边缘 部件 目标语义边缘 → 纹理 → 部件 → 目标 → 语义
或者更抽象地表示为：
低层特征（Low-level Features）→ 中层特征（Mid-level Features）→ 高层语义特征（High-level Semantic Features）
bash
输入图像（Input Image）
│
▼
┌─────────────────────────────────┐
│ Deep Convolution │
│ （多层卷积不断堆叠） │
└─────────────────────────────────┘
│
▼
Hierarchical Feature Representation
（层级化特征表示）
│
┌────────────────┼────────────────┐
▼ ▼ ▼
Low-level Mid-level High-level
Features Features Semantics
（低层特征） （中层特征） （高层语义）
它赋予了 CNN 极强的知识迁移能力：低层的边缘、纹理特征是跨场景通用的，在 ImageNet 上预训练得到的底层特征，可以直接迁移到其他等小众任务上，这也是迁移学习与微调能够生效的底层基础。
Vision Transformer（ViT）
为何在训练数据规模足够大、标注样本量充足的视觉任务场景下，以Vision Transformer（ViT）为代表的弱归纳偏置视觉模型，能够在图像分类、目标检测、语义分割等主流任务上达到并逐步超越传统卷积神经网络（CNN）的性能，展现出更强的性能上限与规模缩放潜力？
这一现象是归纳偏置的价值反转 与模型架构本身的容量特性共同作用的结果。当数据量从稀缺转向充足时，强归纳偏置会从学习的助力变为性能的天花板，而弱归纳偏置模型的灵活性与全局建模能力会被充分释放：
1. 归纳偏置的双重性
强假设从捷径变为枷锁
CNN的局部性、平移等变性、层级化特征提取等归纳偏置，本质是人类对视觉规律的人工经验总结 ，是对真实视觉世界的近似简化。
在小数据场景下，这些先验相当于直接告诉模型图像长什么样，大幅缩小了搜索空间，让模型不用从零摸索视觉基本规律，因此收敛更快、泛化更好；
当数据量足够大时，真实数据中包含的复杂模式（长距离依赖、非规则纹理、物体间的隐式关系、细粒度语义差异等），往往超出了局部相关、平移复用这些简化假设的覆盖范围。此时CNN的强归纳偏置会成为硬性约束------模型被人工假设锁死了表达能力，无法学到数据中更复杂、更贴合真实分布的规律，性能会先进入瓶颈。
而ViT几乎没有针对视觉的强结构性假设，仅保留了最基础的patch切分与序列建模逻辑，对数据分布的限制更少。当数据量足够支撑模型自行探索规律时，它不会被人工先验束缚，能够拟合更复杂的真实视觉分布，性能上限天然更高。
2. 全局建模能力
复杂视觉推理的天然优势
CNN依赖局部感受野堆叠来扩大感知范围，长距离的信息传递需要经过多层卷积，路径长、损耗大，对跨区域的语义关联、物体间关系、全局上下文的建模效率很低。
ViT的自注意力机制则可以在单层内实现所有图像块的双向交互，天然具备全局建模能力 ：
它可以直接建模图片中两个相距很远的物体的关联（比如桌子上有杯子的空间关系）；
可以利用全局上下文辅助细粒度识别（比如通过整体场景判断局部物体的类别）；
可以灵活地根据内容动态分配注意力权重，而非像CNN一样固定使用局部窗口。
大数据集往往包含更丰富的复杂场景、多物体交互、细粒度差异，这些需要全局推理的内容正是CNN的短板，却是ViT的优势场景。数据量越大，这类复杂模式的样本越充足，ViT的全局建模能力就越能发挥价值。
3. 缩放定律（Scaling Law）
更平滑的性能增长曲线
深度学习的缩放定律指出：在架构合理的前提下，模型性能会随着参数量、训练数据量、计算量的提升而持续、可预测地增长。不同架构的缩放潜力存在显著差异：
传统CNN的性能增长会较早遇到瓶颈。除了归纳偏置的限制，局部卷积的并行效率、深度堆叠后的优化难度，都让它在参数量和数据量持续扩大时，性能边际收益快速下降；
Transformer架构展现出了更优异的缩放特性：只要持续增加数据规模、模型参数量与训练算力，性能就能保持近似对数线性的持续增长，没有明显的早期天花板。
在海量数据的支撑下，ViT可以通过扩大模型规模、延长训练时长来持续提效，而CNN很快会进入投入产出比极低的平台期。这也是为什么超大规模视觉预训练模型普遍采用Transformer架构------它能更好地兑现大数据+大算力带来的性能增益。
4. 通用表示能力
跨任务迁移的更强潜力
大数据预训练的价值，是得到可迁移的通用特征表示。
CNN学到的特征是强视觉偏置下的专用特征，高度适配图像的空间结构，但迁移到结构差异大的任务（如多模态、视频理解、开放词汇识别）时适配成本高；
ViT的序列建模+全局注意力得到的特征表示更通用、更灵活。CNN 练出来的视觉本事，是照着图像的空间结构量身定做的专项技能------ 干图像分类、目标检测这些老本行特别顺手，但一旦要跨界去做多模态融合、视频理解、开放词汇识别这类和纯图像结构差得远的任务，就得大动干戈地调整。