霹雳吧啦Wz_深度学习-图像分类篇章_1.1 卷积神经网络基础_笔记

深度学习-图像分类篇章

参考笔记

卷积神经网络

1. 英文：Convolutional Neural Network，CNN
2. 雏形：1998年LeCun的LeNet5，第一个卷积神经网络
3. 包含：
   • 卷积层：Convolutions
   • 下采样层：Subsampling
   • 全连阶层：Full connection
     

全连阶层

1. 神经元
2. BP神经网络：神经元按列排列，列与列全脸机
   • 误差值：从左到右网络输出一个值，与期望输出对比得到
   • 每个节点的偏导数->每个节点的误差梯度
   • 损失值应用误差梯度->误差的反向传播
     

卷积层

1. 卷积网络特有的网络结构
2. 卷积：

• 目的：提取特征
• 过程：一个滑动窗口在特征图上滑动
• 特性：
  • 局部感知
  • 权值共享：渐少参数量

3. 特点：

• 卷积核的channel = 输入特征图的channel
• 输出特征channel = 卷积核个数

4. 偏置：

• 卷积得到的向量+偏置值

5. 激活函数

• 加入非线性变换
• 分类：
• • sigmoid：求导麻烦
• • ReLu：使用较多，但要求学习率不能太大，否则神经元失活多
    

池化层

1. 稀疏处理，渐少运算量
2. 分类：
   • maxpooling下采样
   • averagepooling下采样
     
3. 特点：
   • 没有训练参数
   • 改变w、h，不改变channel
   • 池化核大小 = 步长 -> 等比例缩小