微积分在神经网络中的本质

calculus

在一个神经网络中我们通常将每一层的输出结果表示为: a [ l ] a^{[l]} a[l]

为了方便记录,将神经网络第一层记为:

1 \] \[1\] \[1

对应的计算记录为为:
a [ l ] : 第 l 层 a [ j ] : 第 j 个神经元 a^{[l]}:\textcolor{red}{第l层}\\ a_{[j]}:\textcolor{green}{第j个神经元}\\ a[l]:第l层a[j]:第j个神经元

代价函数为:

其中y为实际值,

而对于 d C 0 d w {d{C_0}\over dw} dwdC0是求斜率,或者具体的解释是 w \textcolor{green}{w} w的数值变动对 C 0 \textcolor{red}{C_0} C0的影响:

根据链式法则:
具体计算过程:

所以 w \textcolor{green}{w} w的数值变动对 C 0 \textcolor{red}{C_0} C0的影响与:真实值与计算值的偏差、激活函数 σ \sigma σ,上一层的输出值有关

如果理解了上述的内容,其他的代价函数 ∇ C \nabla C ∇C就只是换偏导对象即可:

比如,如果要计算 d C 0 d b {d{C_0}\over db} dbdC0,只需要替换一项即可:

同理,应用在BP中可以计算 w j k L ; 一条线的权值的影响 w^{L}_{jk}\textcolor{red}{;一条线的权值的影响} wjkL;一条线的权值的影响(其中jk分别代表 L − 1 L-1 L−1和 L L L层中的不同点):

也可以计算 a k L − 1 ; 前一层的输出值的影响 a^{L-1}_{k}\textcolor{red}{;前一层的输出值的影响} akL−1;前一层的输出值的影响:

相关推荐
Yingjun Mo1 天前
1. 统计推断-ALMOND收敛性分析
人工智能·算法·机器学习
Loving_enjoy1 天前
YOLOv11改进大全:从卷积层到检测头,全方位提升目标检测性能
经验分享·机器学习·迁移学习·facebook
A尘埃1 天前
TensorFlow 和 PyTorch两大深度学习框架训练数据,并协作一个电商推荐系统
pytorch·深度学习·tensorflow
天上的光1 天前
大模型——剪枝、量化、蒸馏、二值化
算法·机器学习·剪枝
西猫雷婶1 天前
pytorch基本运算-分离计算
人工智能·pytorch·python·深度学习·神经网络·机器学习
程序员miki1 天前
RNN循环神经网络(一):基础RNN结构、双向RNN
人工智能·pytorch·rnn·深度学习
却道天凉_好个秋1 天前
深度学习(四):数据集划分
人工智能·深度学习·数据集
没有梦想的咸鱼185-1037-16631 天前
基于R语言机器学习方法在生态经济学领域中的实践技术应用
开发语言·机器学习·数据分析·r语言
Webb Yu1 天前
Azure Databricks 实践:数据分析、机器学习、ETL 与 Delta Lake
机器学习·数据分析·azure
君名余曰正则1 天前
机器学习实操项目01——Numpy入门(基本操作、数组形状操作、复制与试图、多种索引技巧、线性代数)
线性代数·机器学习·numpy