聊聊 神经网络模型 传播计算逻辑

概述

预训练过程就是在不断地更新权重超参数与偏置超参数,最后选择合适的超参数,生成超参数文件。上一篇博客 是使用已有的预训练超参数文件,要训练自己的超参数,需要对神经网络层中前向传播与反向传播计算熟悉,了解计算逻辑,才能不断地更新选择合适的超参数。

神经网络计算详解

整个神经网络的层数是4层,从顺序来分别是:输入层,两层隐藏层,输出层。隐藏层的激活函数选择sigmoid函数;输出层用softmax函数归一化处理。

神经网络的各层参数和激活函数符号化如下:

  • 输入层:(x)
  • 第一个隐藏层:()
  • 第二个隐藏层:()
  • 输出层:(y)
  • 权重参数:()
  • 偏置参数:()
  • 激活函数:() (例如,Sigmoid、ReLU)
  • 损失函数:(L)

为简化推导,假设使用平方损失函数 (),其中 () 为真实标签。

前向传播

前向传播过程如下:

  1. 输入层到第一个隐藏层:
  2. 第一个隐藏层到第二个隐藏层:
  3. 第二个隐藏层到输出层:

接下来计算反向传播的过程,反向传播的计算过程基于链式法则,目的是计算损失函数相对于网络参数(权重和偏置)的梯度。

图文并茂可以阅读 聊聊神经网络的基础知识

反向传播

损失函数对输出层输出的梯度

对于平方损失函数:

损失函数对输出层输入的梯度

记输出层的输入为

根据链式法则:

=>

这里 是激活函数 的导数。比如,如果使用 Sigmoid 激活函数,那么

损失函数对输出层超参数的梯度



=>=

第二个隐藏层,损失函数对输入的梯度

根据链式求导法则:

由上可知,

其中是输出层的参数矩阵, 是向量。我们想要计算 的导数。

我们对 求导数,由于 不包含 ,它们在导数中变为零:

由于第二项为零。只需要计算第一项:

这里 是矩阵, 是向量。使用矩阵微积分规则:

所以,导数 ,其中 的转置矩阵。

最终, 的导数是

=>

第二个隐藏层,损失函数权重和偏置的梯度

根据上述计算逻辑,可以很方便的推出,损失函数对超参数的梯度为

第一个隐藏层,损失函数对输入,超参数的梯度

损失函数对输入的梯度为

损失函数对超参数的梯度为

这样就完成了反向传播的输入、超参数计算过程。这些梯度的计算用于以更新神经网络的权重和偏置。

超参数的更新

上述已计算出来了超参数的梯度,现在用于更新神经网络的超参数,以输出层的权重超参数更新为例;其公式为:

其中 为学习率,的值在上述已计算出来了,直接替换即可。

相关推荐
机器学习之心HML9 小时前
PSO-TCN-BiLSTM-MATT粒子群优化算法优化时间卷积神经网络-双向长短期记忆神经网络融合多头注意力机制多特征分类预测/故障诊断Matlab实现
神经网络·算法·cnn
codelancera10 小时前
Pytorch-04 搭建神经网络架构工作流
人工智能·pytorch·神经网络
Sunhen_Qiletian12 小时前
NumPy库学习(三):numpy在人工智能数据处理的具体应用及方法
人工智能·深度学习·神经网络·机器学习·计算机视觉·numpy
m0_5587901419 小时前
GPU算力平台评测
服务器·人工智能·python·深度学习·神经网络·目标检测·机器学习
Debroon20 小时前
大模型幻觉的本质:深度=逻辑层次,宽度=组合限制,深度为n的神经网络最多只能处理n层逻辑推理,宽度为w的网络无法区分超过w+1个复杂对象的组合
人工智能·深度学习·神经网络
叫我:松哥1 天前
python案例:基于python 神经网络cnn和LDA主题分析的旅游景点满意度分析
人工智能·python·神经网络·数据挖掘·数据分析·cnn·课程设计
808&Heartbreak*1 天前
CNN实战项目
人工智能·神经网络·cnn
木卯_THU2 天前
TGD第十篇:当神经网络遇到TGD特征
人工智能·深度学习·神经网络·表情识别·tgd·视频特征提取·特征工提取
martian6652 天前
深度学习核心:神经网络-激活函数 - 原理、实现及在医学影像领域的应用
人工智能·深度学习·神经网络·机器学习·医学影像·影像大模型
无风听海2 天前
理解梯度在神经网络中的应用
人工智能·深度学习·神经网络·梯度