[note]李宏毅Deep Learning 之 BackPropagation笔记

文章目录

  • [Gradient Descent](#Gradient Descent)
  • [Math premise](#Math premise)
  • [Back Propagation](#Back Propagation)
    • [forward pass](#forward pass)
    • [backward pass](#backward pass)
  • Summary

中文名:反向传播算法

用于Gradient Descent 来train 一个neural network时用到

BackPropagation的核心是通过链式法则改变微分形式,并用forward pass 与 backward pass求出对应微分

Gradient Descent

在进行Gradient Descent 步骤的时候,我们需要计算 ∇ L \nabla L ∇L ,也就是要计算L对各个parameter的偏微分,如果我们的parameter非常多,我们的layers也比较多(例如在做语音识别模型的时候可能有7,8层)

To compute the gradients efficiently,we use backpropagation

Math premise

数学前置知识:Chain Rule

不懂的自行学习Calculus

Back Propagation

这里 C n C^n Cn 代表预测值 y n y^n yn 与 真实值 y ^ n \hat y^n y^n 的距离

对公式整体取偏微分可以得到右式

我们先取三角形中的neuron出来考虑

我们想要计算 ∂ C ∂ w \frac { \partial C } { \partial w } ∂w∂C ,根据一阶微分形式不变性可得 \\frac { \\partial C } { \\partial w } = \\frac { \\partial z } { \\partial w } \\frac { \\partial C } { \\partial z }

我们将前面的 ∂ z ∂ w \frac {\partial z}{\partial w} ∂w∂z 称为Forward Pass :commute ∂ z ∂ w \frac {\partial z}{\partial w} ∂w∂z for all parameters,这个很容易计算即是前面feature的值

将后面的 ∂ C ∂ z \frac { \partial C } { \partial z} ∂z∂C 称为Backward Pass :commute ∂ C ∂ z \frac { \partial C } { \partial z} ∂z∂C for all activation function inputs z

forward pass

forward pass 计算起来很简单

也就是说Forward pass 过程就是将input输入进neural network中计算每一个neuron 的Output即可

backward pass

如何计算 ∂ C ∂ z \frac { \partial C } { \partial z} ∂z∂C ?

我们同样使用一阶微分形式不变性\\frac { \\partial C } { \\partial z } = \\frac { \\partial a } { \\partial z } \\frac { \\partial C } { \\partial a }

∂ a ∂ z \frac{\partial a}{\partial z} ∂z∂a 就是Activation function的微分(假如是sigmoid function就是 σ ′ ( z ) \sigma ^ { \prime }(z) σ′(z))

那么 ∂ C ∂ a \frac{\partial C}{\partial a} ∂a∂C 计算则是利用Chain rule表示为 ∂ C ∂ a = ∂ z ′ ∂ a ∂ C ∂ z ′ + ∂ z ′ ′ ∂ a ∂ C ∂ z ′ ′ \frac { \partial C } { \partial a } = \frac { \partial z ^ { \prime } } { \partial a } \frac { \partial C } { \partial z ^ { \prime } } + \frac { \partial z ^ { \prime \prime } } { \partial a } \frac { \partial C } { \partial z ^ { \prime \prime } } ∂a∂C=∂a∂z′∂z′∂C+∂a∂z′′∂z′′∂C

这里两项的原因是因为a的下一项只有两个neuron,如果有n个则是n个的summation

也就是说现在如果我们知道?的两个值就可以得出 ∂ C ∂ z \frac { \partial C } { \partial z} ∂z∂C 的值了

∂ C ∂ z = σ ′ ( z ) [ w 3 ∂ C ∂ z ′ + w 4 ∂ C ∂ z ′ ′ ] \frac { \partial C } { \partial z } = \sigma ^ { \prime } ( z ) \left[ w _ { 3 } \frac { \partial C } { \partial z ^ { \prime } } + w _ { 4 } \frac { \partial C } { \partial z ^ { \prime \prime } } \right] ∂z∂C=σ′(z)[w3∂z′∂C+w4∂z′′∂C]

在这里我们注意到,每次我们想要计算当前这个neuron的C关于z的偏微分的时候,我们需要求出下一层的C的偏微分,也就是说,我们需要从后往前来反复求偏微分就可以了 ,这就是为什么叫做backpropagation ,这在ppt中叫做Compute ∂ C ∂ z \frac{\partial C}{\partial z} ∂z∂C reversely

Summary

因此我们的Back Propagation一共分为两步:

  1. forward pass 求出z的预测值并求出 ∂ z ∂ w \frac{\partial z}{\partial w} ∂w∂z 的值

  2. backward pass逆向顺序过程求出对应的偏微分

相关推荐
HuggingFace1 小时前
Hugging Face 开源机器人 Reachy Mini 开启预定
人工智能
企企通采购云平台2 小时前
「天元宠物」×企企通,加速数智化升级,“链”接萌宠消费新蓝海
大数据·人工智能·宠物
超级小忍2 小时前
Spring AI ETL Pipeline使用指南
人工智能·spring
张较瘦_2 小时前
[论文阅读] 人工智能 | 读懂Meta-Fair:让LLM摆脱偏见的自动化测试新方法
论文阅读·人工智能
巴伦是只猫3 小时前
【机器学习笔记 Ⅲ】4 特征选择
人工智能·笔记·机器学习
好心的小明3 小时前
【王树森推荐系统】召回11:地理位置召回、作者召回、缓存召回
人工智能·缓存·推荐系统·推荐算法
不爱说话的采儿3 小时前
UE5详细保姆教程(第四章)
笔记·ue5·游戏引擎·课程设计
weixin_418813873 小时前
Python-可视化学习笔记
笔记·python·学习
lishaoan773 小时前
使用tensorflow的线性回归的例子(十二)
人工智能·tensorflow·线性回归·戴明回归
Danceful_YJ4 小时前
4.权重衰减(weight decay)
python·深度学习·机器学习