李沐深度学习知识点—数值稳定性、模型激活函数、全连接层到卷积、卷积层

数值稳定性

其中h是一个向量,向量关于向量的倒数是一个矩阵,因此求梯度是求矩阵乘法

矩阵乘法带来了 梯度爆炸,梯度消失

模型初始化和激活函数

归一化:不管梯度多大,我都把梯度拉回来,否的出现梯度爆炸和梯度消失问题。

不管做多深,都能在一个合理范围内

假设权重是独立同分布,定义均值和方差,t是层数

nt-1是t层输入的维度,nt是输出的维度,除非输入等于输入,除非无法相等

γt是第t层权重的方差

不能满足同时,取个折中,给定当前层和输出层权重大小,就能确定方差大小。

采用正态分布,当前值是0,方差不是固定的0.01了,是根据输入输出决定的。


如果想使得前项输出的均值和方差都是0,固定,那么β=0,α=1.

意味着什么?意味着激活函数fx必须=x,其中tanh和relu满足在0点附近,sigmoid改变后可以满足fx=x

补充:激活函数:如果不用激活函数,每一层输出都是上层输入的线性函数,如果使用,激活函数给神经元引入了非线性因素,使神经网络可以逼近任何非线性函数。

总结:可以通过合理的权重初始值和激活函数的选取提升数值的稳定性。


全连接层到卷积

一张图片中找信息,不能所有点都检查一遍。需要满足两个原则

平移不变性

局部性

现在x位置变换后,权重也得跟着变换,如何能让他不变。不管ij怎么变换,输出的地方挪到哪个位置,用的识别检测器v都应该不变的。

当把一个模型的取值范围做了限制,模型复杂度就降低了。也就不用存那么多元素了。

假设要算ij这个输出话,以i为中心,a可以任意变换的位置都要看一遍,但实际不应该看那么远的地方,只看附近就行。因此做出限制。

卷积层是特殊的全连接层

全连接层:卷积、池化、激活函数但是将原始数据映射到隐藏特征空间,全连接层是将学到的"分布式特征表示"映射到样本标记空间的作用。


卷积层

3、统一的公式:o = [( i + 2p - k) / s] + 1

说是卷积层,但是为了实现方便,将权重的负号改为了正,实际上是二维交叉相关

气象地图涉及到了时间

总结:

卷积层将输入和核矩阵进行交叉相关,加上偏移后得到输出

核矩阵和偏移时可学习的参数

核矩阵的大小是超参数(kernel的大小)

解决了问题:权重随着输入变得特别大,卷积不会有这个问题。


相关推荐
池央1 小时前
AI性能极致体验:通过阿里云平台高效调用满血版DeepSeek-R1模型
人工智能·阿里云·云计算
我们的五年1 小时前
DeepSeek 和 ChatGPT 在特定任务中的表现:逻辑推理与创意生成
人工智能·chatgpt·ai作画·deepseek
Yan-英杰1 小时前
百度搜索和文心智能体接入DeepSeek满血版——AI搜索的新纪元
图像处理·人工智能·python·深度学习·deepseek
Fuweizn1 小时前
富唯智能可重构柔性装配产线:以智能协同赋能制造业升级
人工智能·智能机器人·复合机器人
taoqick3 小时前
对PosWiseFFN的改进: MoE、PKM、UltraMem
人工智能·pytorch·深度学习
suibian52353 小时前
AI时代:前端开发的职业发展路径拓宽
前端·人工智能
预测模型的开发与应用研究4 小时前
数据分析的AI+流程(个人经验)
人工智能·数据挖掘·数据分析
源大模型4 小时前
OS-Genesis:基于逆向任务合成的 GUI 代理轨迹自动化生成
人工智能·gpt·智能体
PowerBI学谦5 小时前
Python in Excel高级分析:一键RFM分析
大数据·人工智能·pandas
运维开发王义杰6 小时前
AI: Unsloth + Llama 3 微调实践,基于Colab
人工智能·llama