一、发展历程
只要包含了卷积层的网络都可以理解为卷积神经网络。
二、全连接层
神经元按列进行排列，并列与列的神经元进行全连接 ，就可以的得到BP神经网络。
eg:利用BP神经网络做车牌数字识别
将5*5的矩阵按行展开，并拼接成一个行向量，此时就可以将该行向量作为输入层。
输出层期望：
训练：
三、卷积层
（一）卷积
卷积：滑动窗口在特征图进行滑动并计算。
目的：进行特征提取
卷积特性：拥有局部感知机制（以滑动窗口的形式进行计算），权值共享（滑动过程中窗口的值不会发生改变）。
普通神经网络：体量过大
多维（通道）特征向量做卷积操作，深度（通道channel）保持一致，如正常特征图RGB三个维度，那么卷积核理应保持三个维度。将每个维度的卷积核放到对应的维度上做卷积操作，最后求和。
- 卷积核的channel与输入特征层的channel相同
- 输出的特征矩阵channel与卷积核个数相同
- bias偏移量：输出的特征矩阵直接和偏移量相加
- 加上激活函数如何计算？
（二）激活函数
在计算过程中是一个线性的计算过程，为了使其具备非线性的计算能力。
（三）卷积计算越界处理
一般情况下在上下左右都补0，那么就加2p,在该例子中，只在右下补0了，加P就可以了。
四、池化层
对特征矩阵进行系数处理，减少数据运算量。
（一）MaxPooling下采样层
（二）AveragePooling下采样层
五、误差
（一）误差的计算
（二）误差的反向传播
以W11为例：
（三）权重的更新
1、损失梯度及参数更新
2、优化器optimazer
目的：使网络得到更快地收敛
