深度学习和神经网络 卷积神经网络CNN

1.什么是卷积神经网络

一种前馈神经网络;受生物学感受野的机制提出专门处理网格结构数据的深度学习模型

核心特点:通过卷积操作自动提取空间局部特征(如纹理、边缘),显著降低参数量

2.CNN的三个结构特征

局部连接;权重共享(不同位置上的卷积核是一样的);空间或时间上的次采样

3.卷积过程及不同类型的卷积

卷积过程:

输入矩阵与卷积核作矩阵乘法得到特征矩阵

javascript 复制代码
输入矩阵        卷积核(3×3)      输出特征图(3×3)
[1, 1, 1, 0, 0]   [1, 0, 1]        [4, 3, 4]
[0, 1, 1, 1, 0]   [0, 1, 0]   →    [2, 4, 3]
[0, 0, 1, 1, 1]   [1, 0, 1]        [2, 3, 4]
[0, 0, 1, 1, 0]                (步长=1,无填充)
[1, 1, 0, 0, 0]

不同类型卷积:

举出较常见的:

(1)窄卷积:步长step=1,无padding,卷积后输出维数为M-K+1

(2)宽卷积:步长step=1,有padding,在外围补K-1圈0,卷积后输出维数M+K-1

(3)等宽卷积(输出大小不变):步长step=1;有padding,在外围补一圈0即可,卷积后输出维数为M

注:M为输入序列的维数,K为补的大小,以矩阵为例

4.卷积核,卷积层,卷积网络结构

卷积核:

一个特征提取器,可以有多个卷积核,比如一个提取水平特征一个提取垂直特征,可以通过增加卷积核的个数来增强卷积层的能力

卷积层:

典型的卷积层为3维结构

卷积网络结构:

由卷积层、池化层,全连接层堆叠而成

(1)数据输入层(input_layer)

(2)卷积计算层(conv_layer)

局部特征提取;训练中进行参数学习;每个卷积核提取特定模式的特征

(3)ReLU激活层(ReLU_layer)

(4)池化层(polling_layer)

降低数据维度,避免过拟合;增强局部感受野;提高平移不变性

为了提炼最主要的特征并降维

(5)全连接层(fc_layer)

特征提取到分类的桥梁

5.残差网络(ResNet)

通过给非线性的卷积层增加直连边的方式来提高信息的传播效率

ResNet通过 "跨层连接 + 残差学习" ,将深层网络训练转化为对微小扰动(残差)的优化,彻底解决深度退化问题,开启千层神经网络时代

相关推荐
墨利昂19 分钟前
Transformer架构:深度学习序列建模的革命性突破
深度学习·架构·transformer
我是李武涯42 分钟前
PyTorch Dataloader工作原理 之 default collate_fn操作
pytorch·python·深度学习
无风听海1 小时前
神经网络之计算图repeat节点
人工智能·深度学习·神经网络
MYX_3092 小时前
第三章 线型神经网络
深度学习·神经网络·学习·算法
Cathy Bryant4 小时前
矩阵乘以向量?向量乘以向量?
笔记·神经网络·考研·机器学习·数学建模
应用市场5 小时前
GPS车辆实时定位与轨迹预测技术实现
深度学习
技术闲聊DD5 小时前
深度学习(5)-PyTorch 张量详细介绍
人工智能·pytorch·深度学习
XIAO·宝5 小时前
深度学习------YOLOv4
深度学习·yolo·目标跟踪
小白狮ww5 小时前
LiveCC 首个视频解说大模型开源,比赛视频也能轻松拿捏!
人工智能·深度学习·机器学习
墨利昂7 小时前
10.17RNN情感分析实验:加载预训练词向量模块整理
人工智能·rnn·深度学习