卷积神经网络-池化层和激活层

**2.**池化层

根据特征图上的局部统计信息进行下采样,在保留有用信息的同时减少特征图的大小。和卷积层不同的是,池化层不包含需要学习的参数。最大池化(max-pooling)在一个局部区域选最大值作为输出,而平均池化(average pooling)计算一个局部区域的均值作为输出。局部区域池化中最大池化使用更多,而全局平均池化(global average pooling)是更常用的全局池化方法。

池化的核通常采用2×2的大小,平均池化就是计算2×2范围内的平均值,最大池化就是取该范围内的最大值。目前比较常用的是最大池化。在经过池化后,原图像的channel是不发生改变的。

池化层的作用:

  1. 增加特征平移不变性。
  2. 减小特征图大小。
  3. 最大池化可以带来非线性。

**3.**激活层

激活层的作用在于将前一层的线性输出,通过非线性的激活函数进行处理,这样用以模拟任意函数,从而增强网络的表征能力。激活层常用的函数包括sigmoid和ReLu(Rectified-Linear Unit,修正线性单元)等。激活函数是一些非线性的函数,这些函数的特性有所不同:

1.sigmoid函数可以将数值压缩到[0, 1]的区间。

2.tanh可以将数值压缩到[-1, 1]的区间。

3.ReLu函数实现一个取正的效果,所有负数的信息都抛弃。

4.LeakyReLu是一种相对折中的ReLu,认为当数值为负的时候可能也存在一定有用的信息,那么就乘以一个系数0.1(可以调整或自动学习),从而获取负数中的一部分信息。

5.Maxout使用两套参数,取其中值大的一套作为输出。

6.ELU类似于LeakyReLu,只是使用的公式不同。

以Tensorflow为例学习如何搭建这些层的方法:

卷积层:tf.nn.conv2d(input, filter, strides, padding)

激活层:tf.nn.relu()

池化层:tf.nn.max_pool()(最大池化)

相关推荐
东经116度43 分钟前
生成对抗网络(GAN)
深度学习·gan·模式崩塌
王哈哈^_^1 小时前
【数据集】【YOLO】【目标检测】农作物病害数据集 11498 张,病害检测,YOLOv8农作物病虫害识别系统实战训推教程。
人工智能·深度学习·算法·yolo·目标检测·计算机视觉·1024程序员节
却道天凉_好个秋1 小时前
卷积神经网络CNN(六):卷积、归一化与ReLU总结
人工智能·神经网络·cnn
湘-枫叶情缘1 小时前
宫殿记忆术AI训练系统:可扩展的终身记忆框架
人工智能·深度学习
Dev7z2 小时前
基于Swin Transformer的糖尿病视网膜病变影像分类与诊断系统
人工智能·深度学习·transformer
B站_计算机毕业设计之家2 小时前
预测算法:股票数据分析预测系统 股票预测 股价预测 Arima预测算法(时间序列预测算法) Flask 框架 大数据(源码)✅
python·算法·机器学习·数据分析·flask·股票·预测
GG向前冲2 小时前
【大数据】Spark MLlib 机器学习流水线搭建
大数据·机器学习·spark-ml
深蓝岛2 小时前
目标检测核心技术突破:六大前沿方向
论文阅读·人工智能·深度学习·计算机网络·机器学习
晚霞apple2 小时前
特征融合与目标检测的六大创新方向
论文阅读·人工智能·深度学习·神经网络·机器学习
Theodore_10223 小时前
神经学习(4)神经网络的向量化实现与TensorFlow训练流程
人工智能·深度学习·机器学习·计算机视觉·线性回归