Transformer|残差连接的技术演进:从CNN到ResNet在CNN出现之前,图像处理是传统机器学习的一大难题,当时的主流方法是多层感知机MLP,由于使用全连接网络进行训练,若有一张像素点为 100 × 100 100 \times 100 100×100,通道数为 3 3 3 的简单RGB图像,假设神经网络的第一层神经元仅1000个,那么将图像拉平后输入第一个全连接层参数量就有 3 × 10 7 3 \times 10^7 3×107之多,而且现在大多数图像的像素点和神经元的数量都要远远超过假设数值,因此使用MLP进行图像处理是非常困难的。 💥1989年CN