卷积神经网络（Convolutional Neural Network），多用于图像处理。
全连接的问题
回顾手写数字识别，我们需要将一张图片的所有像素点，展开成一个1维向量输入到网络。那么，当图片尺寸特别大时，要求的输入神经元的个数会特别大，参数多训练慢，还容易发生过拟合。除此之外，对于彩色图片而言，如果将RGB三个通道数据单纯展开铺平，会丢失空间信息。
卷积神经网络，引入卷积层，通过卷积核对图像特征进行提取，维护像素点之间的特征信息，同时也保证了参数个数不随图像尺寸变化。
经典的卷积神经网络包含：对图片进行多层卷积、池化，最后加上全连接层。在卷积和全连接的最终输出往往加上ReLu函数，有时也会引入Dropout防止过拟合。
卷积核
卷积核（kernel），又称滤波器（filter）
卷积运算，是通过卷积核在图片上移动，计算点乘求和得到的。注意，卷积往往在计算结束后还会加偏置项（bias），一个卷积核对应一个偏置项。在卷积层部分训练学习的，也就是机器调整的，就是卷积核和偏置项。
假设偏置项为1，计算结果如下：
多通道彩色图片
对于多通道彩色图片，根据需求，有单输出和多输出两种情况。
单输出，用一组卷积核计算
多输出，用多组卷积核计算
批量操作
在网络训练时，往往将小批量的多张图片同时进行训练，输入图片维度为：
假设输入2张3x3的三通道彩色图片，其形状为(2,3,3,3)
感受野
我们的图片经过卷积后，尺寸会变小，那么，卷积后的点，对应原图中的区域大小，我们称作感受野（Receptive Filed）
经过两次3x3的卷积后，感受野会变为5x5
边缘填充
边缘填充（Padding），在卷积的过程中，由于尺寸不足或尺寸保持，我们需要对图片的尺寸进行补充，这个过程叫边缘填充。
填充可以填充0、临近值等等。不进行填充（VALID），尺寸保持填充（SAME）
卷积核大小一般为1,3，5,7等奇数，如果
那么经过卷积后，图片尺寸保持不变
卷积后尺寸计算公式，stride步长，指的是每次计算移动的距离
池化
池化（pooling或subsampling），特征提取，降低尺寸。尺寸减半，通道数不变
