CNN基础学习(自用)

1.什么是one-hot编码?为什么使用?

one-hot编码 是一种把类别数据(分类变量)转换为数值型向量 的方式,常用于机器学习和深度学习中。计算机擅长处理数字,但分类数据(比如"红/绿/蓝")是非数值的。如果直接用数字代替类别(比如红=1,绿=2,蓝=3),模型可能会误以为它们之间存在大小关系或距离(例如蓝 > 绿 > 红),但其实类别之间没有这种顺序。所以需要 one-hot 编码,把每个类别表示成一种"独立"的方式。

2.卷积层总结

卷积核的channel与输入特征层的channel相同

输出特征矩阵的channel与卷积核的个数相同

3.常用激活函数

3.1 sigmoid激活函数

缺点在于Sigmoid激活函数饱和时梯度值非常小,故网络层数较深时,容易出现梯度消失现象

3.2 ReLU激活函数

缺点在于当反向传播过程中有一个非常大的梯度经过时,反向传播更新后可能导致权重分布中心小于0,导致该处的倒数始终为0,反向传播无法更新权重,即进入失活状态

3.3 为什么使用激活函数

因为在我们的计算过程中是一个线性的计算过程,为了引入非线性因素,使其具备非线性计算能力,那么就需要通过一个非线性函数来达到这个目的。在实际应用中,ReLU函数用的更多

4.当卷积过程中出现越界时如何解决

使用padding的方式在图像周围补零即可,补完之后便可以正常卷积;在卷积操作过程中,矩阵经卷积操作后的尺寸由以下几个因素决定:

  1. 输入图片大小w*w
  2. Filter大小F*F Filter表示滤波器或者叫做卷积核kernel
  3. 步长 S
  4. padding的像素p

经卷积后的矩阵尺寸大小计算公式为:

5.池化层

5.1目的

对特征图进行稀疏处理,减少数据运算量

5.2特点

没有训练参数(卷积层的每个卷积核都有各自的参数),只是在原始的特征层上求取最大值(MaxPooling下采样层)或者最小值

只改变特征矩阵的w和h,不改变channel(深度)

一般poolsize(池化核大小)和stride(布局)相同

6.反向传播过程中的一些问题

6.1什么是反向传播

反向传播BP是神经网络学习的核心算法,它的作用是自动计算每个参数(权重、偏置)对最终误差(损失)的影响,并用这些信息来更新参数,让模型学得越来越好。

6.1.2正向传播

输入数据经过神经网络(层层加权、非线性激活),得到输出结果。用损失函数衡量输出和真实标签之间的差距。

例如:预测结果为0.8 ,真实值为1 ,损失为0.04

6.1.3反向传播

反向传播就是从输出层往输入层"反传"误差,计算每个参数应该怎样调整。

核心思想:用链式法则(微积分中的导数规则) ,逐层计算损失函数对每个参数的偏导数(梯度) 。梯度表示"如果我稍微改变这个参数,损失会变大还是变小"。计算完梯度后,用优化算法(最常见是梯度下降)来更新参数:

其中是权重参数,为学习率,是损失函数对参数的梯度

总结:反向传播 = 链式法则 + 梯度下降,它让神经网络能够"自我调整",学会从错误中改进。如果没有反向传播,神经网络就无法有效训练。

6.2损失的计算一般为:交叉熵损失(Cross Entropy Loss)
6.2.1针对多分类问题

softmax输出,所有输出概率和为1,公式如下:

对于上述两个公式其中为真是标签值,为输出预测值,

默认以e为底

6.3优化器optimazer
6.3.1 SGD优化器

为学习率,t 时刻对参数的损失梯度

缺点:易受样本噪声的影响,可能陷入局部最优解

6.3.2 SGD+Momentum优化器(常用)

为学习率,t 时刻对参数的损失梯度,为动量系数

6.3.3 Adagrad优化器(自适应学习率)

为学习率,t 时刻对参数的损失梯度,为防止分母为零的小数

缺点:学习率下降的太快,可能还没收敛就停止训练了

6.3.4 RMSProp优化器(自适应学习率)

为学习率,t 时刻对参数的损失梯度,为动量系数,控制衰减速度,为防止分母为零的小数

相关推荐
做cv的小昊12 小时前
计算机图形学:【Games101】学习笔记08——光线追踪(辐射度量学、渲染方程与全局光照、蒙特卡洛积分与路径追踪)
图像处理·笔记·学习·计算机视觉·游戏引擎·图形渲染·概率论
星恒随风12 小时前
C++ 类和对象入门(五):初始化列表、explicit 和 static 成员详解
开发语言·c++·笔记·学习·状态模式
sensen_kiss14 小时前
CPT304 SoftwareEngineeringII 软件工程 2 Pt.8 软件测试 (Software Testing)(上)
学习·软件工程
力学与人工智能14 小时前
PPT分享 | 洛桑联邦理工学院魏震:深度几何学习在工业设计优化中的应用
学习·优化·工业设计·深度几何学习·洛桑联邦理工学院
湘美书院--湘美谈教育15 小时前
湘美谈教育AI系列经验集锦:赋能整理聊斋志异大寓言
大数据·人工智能·深度学习·神经网络·机器学习
sensen_kiss16 小时前
CPT304 SoftwareEngineeringII 软件工程 2 Pt.9 软件测试 (Software Testing)(下)
学习·软件工程
wu_ye_m16 小时前
学习c语言第35天 函数声明和定义
c语言·开发语言·学习
清辞85316 小时前
Coze从入门到实战---第一、二章
大数据·人工智能·学习·语言模型
伊布拉西莫17 小时前
【流畅的Python】第20章:并发执行器 — 学习笔记
笔记·python·学习
jinglong.zha17 小时前
LScript-从零基础到商业变现的AI自动化学习平台
运维·学习·自动化