深度学习和神经网络 卷积神经网络CNN

1.什么是卷积神经网络

一种前馈神经网络;受生物学感受野的机制提出专门处理网格结构数据的深度学习模型

核心特点:通过卷积操作自动提取空间局部特征(如纹理、边缘),显著降低参数量

2.CNN的三个结构特征

局部连接;权重共享(不同位置上的卷积核是一样的);空间或时间上的次采样

3.卷积过程及不同类型的卷积

卷积过程:

输入矩阵与卷积核作矩阵乘法得到特征矩阵

javascript 复制代码
输入矩阵        卷积核(3×3)      输出特征图(3×3)
[1, 1, 1, 0, 0]   [1, 0, 1]        [4, 3, 4]
[0, 1, 1, 1, 0]   [0, 1, 0]   →    [2, 4, 3]
[0, 0, 1, 1, 1]   [1, 0, 1]        [2, 3, 4]
[0, 0, 1, 1, 0]                (步长=1,无填充)
[1, 1, 0, 0, 0]

不同类型卷积:

举出较常见的:

(1)窄卷积:步长step=1,无padding,卷积后输出维数为M-K+1

(2)宽卷积:步长step=1,有padding,在外围补K-1圈0,卷积后输出维数M+K-1

(3)等宽卷积(输出大小不变):步长step=1;有padding,在外围补一圈0即可,卷积后输出维数为M

注:M为输入序列的维数,K为补的大小,以矩阵为例

4.卷积核,卷积层,卷积网络结构

卷积核:

一个特征提取器,可以有多个卷积核,比如一个提取水平特征一个提取垂直特征,可以通过增加卷积核的个数来增强卷积层的能力

卷积层:

典型的卷积层为3维结构

卷积网络结构:

由卷积层、池化层,全连接层堆叠而成

(1)数据输入层(input_layer)

(2)卷积计算层(conv_layer)

局部特征提取;训练中进行参数学习;每个卷积核提取特定模式的特征

(3)ReLU激活层(ReLU_layer)

(4)池化层(polling_layer)

降低数据维度,避免过拟合;增强局部感受野;提高平移不变性

为了提炼最主要的特征并降维

(5)全连接层(fc_layer)

特征提取到分类的桥梁

5.残差网络(ResNet)

通过给非线性的卷积层增加直连边的方式来提高信息的传播效率

ResNet通过 "跨层连接 + 残差学习" ,将深层网络训练转化为对微小扰动(残差)的优化,彻底解决深度退化问题,开启千层神经网络时代

相关推荐
人工智能培训1 小时前
Transformer-位置编码(Position Embedding)
人工智能·深度学习·大模型·transformer·embedding·vision
丰年稻香2 小时前
神经网络二分类任务详解:前向传播与反向传播的数学计算
人工智能·神经网络·分类
扫地的小何尚2 小时前
R²D²深度解析:NVIDIA三大神经网络突破如何变革机器人学习
神经网络·r语言·机器人·llm·gpu·nvidia
我是个菜鸡.2 小时前
视觉/深度学习/机器学习相关面经总结(3)(持续更新)
人工智能·深度学习·机器学习
缘友一世2 小时前
PyTorch深度学习实战【12】之基于RNN的自然语言处理入门
pytorch·rnn·深度学习
青春不败 177-3266-05202 小时前
基于PyTorch深度学习遥感影像地物分类与目标检测、分割及遥感影像问题深度学习优化实践技术应用
人工智能·pytorch·深度学习·目标检测·生态学·遥感
en-route3 小时前
从零开始学神经网络——GRU(门控循环单元)
人工智能·深度学习·gru
Francek Chen6 小时前
【深度学习计算机视觉】07:单发多框检测(SSD)
人工智能·pytorch·深度学习·计算机视觉·单发多框检测
dami_king7 小时前
RTX4090算力应用-3D
人工智能·深度学习·3d·ai
mCell15 小时前
长期以来我对 LLM 的误解
深度学习·llm·ollama