序言，本文讲解了一些神经网络的基础知识以及基本简单，卷积网络模块例如VGG，Resnet等等
卷积神经网络：
CNN本质特征：局部感知，权重共享，平移不变性。
但是①细微特征（例如颜色）获取不了，②长距离以来问题
图片特征：包括轮廓，纹理，颜色，大小。
卷积擅长提取：图片特征
LeNet5网络
深度卷积神经网络AlexNet
VGG网络
GoogleNet网络
合并连接网络GoogleNet
网络的中间层特征对学习是有益的，GoogleNet多尺度损失头结合loss =0.3*loss_one + 0.3loss_two + 1.2*loss_main
浅层--->提取几何特征 深层-->提取语义特征
tips： 调整多头loss的惩罚系数比例有利于提升准确率，系数越大学习的越多(有概率只留mian头反而效果更好)
残差网络ResNet
ResNet解决了网络退化问题，不是解决了梯度消失的问题，可以缓解梯度消失
目的：再加一层不会让上一层的特征变得更差。
做法：H(x) = X:上一层输出 +F(x)：中间网络层
残差的模式
其他补充：
神经元一定是要经过线性变换和非线性变换两种变换的
