[note]李宏毅Deep Learning 之 BackPropagation笔记

文章目录

  • [Gradient Descent](#Gradient Descent)
  • [Math premise](#Math premise)
  • [Back Propagation](#Back Propagation)
    • [forward pass](#forward pass)
    • [backward pass](#backward pass)
  • Summary

中文名:反向传播算法

用于Gradient Descent 来train 一个neural network时用到

BackPropagation的核心是通过链式法则改变微分形式,并用forward pass 与 backward pass求出对应微分

Gradient Descent

在进行Gradient Descent 步骤的时候,我们需要计算 ∇ L \nabla L ∇L ,也就是要计算L对各个parameter的偏微分,如果我们的parameter非常多,我们的layers也比较多(例如在做语音识别模型的时候可能有7,8层)

To compute the gradients efficiently,we use backpropagation

Math premise

数学前置知识:Chain Rule

不懂的自行学习Calculus

Back Propagation

这里 C n C^n Cn 代表预测值 y n y^n yn 与 真实值 y ^ n \hat y^n y^n 的距离

对公式整体取偏微分可以得到右式

我们先取三角形中的neuron出来考虑

我们想要计算 ∂ C ∂ w \frac { \partial C } { \partial w } ∂w∂C ,根据一阶微分形式不变性可得 \\frac { \\partial C } { \\partial w } = \\frac { \\partial z } { \\partial w } \\frac { \\partial C } { \\partial z }

我们将前面的 ∂ z ∂ w \frac {\partial z}{\partial w} ∂w∂z 称为Forward Pass :commute ∂ z ∂ w \frac {\partial z}{\partial w} ∂w∂z for all parameters,这个很容易计算即是前面feature的值

将后面的 ∂ C ∂ z \frac { \partial C } { \partial z} ∂z∂C 称为Backward Pass :commute ∂ C ∂ z \frac { \partial C } { \partial z} ∂z∂C for all activation function inputs z

forward pass

forward pass 计算起来很简单

也就是说Forward pass 过程就是将input输入进neural network中计算每一个neuron 的Output即可

backward pass

如何计算 ∂ C ∂ z \frac { \partial C } { \partial z} ∂z∂C ?

我们同样使用一阶微分形式不变性\\frac { \\partial C } { \\partial z } = \\frac { \\partial a } { \\partial z } \\frac { \\partial C } { \\partial a }

∂ a ∂ z \frac{\partial a}{\partial z} ∂z∂a 就是Activation function的微分(假如是sigmoid function就是 σ ′ ( z ) \sigma ^ { \prime }(z) σ′(z))

那么 ∂ C ∂ a \frac{\partial C}{\partial a} ∂a∂C 计算则是利用Chain rule表示为 ∂ C ∂ a = ∂ z ′ ∂ a ∂ C ∂ z ′ + ∂ z ′ ′ ∂ a ∂ C ∂ z ′ ′ \frac { \partial C } { \partial a } = \frac { \partial z ^ { \prime } } { \partial a } \frac { \partial C } { \partial z ^ { \prime } } + \frac { \partial z ^ { \prime \prime } } { \partial a } \frac { \partial C } { \partial z ^ { \prime \prime } } ∂a∂C=∂a∂z′∂z′∂C+∂a∂z′′∂z′′∂C

这里两项的原因是因为a的下一项只有两个neuron,如果有n个则是n个的summation

也就是说现在如果我们知道?的两个值就可以得出 ∂ C ∂ z \frac { \partial C } { \partial z} ∂z∂C 的值了

∂ C ∂ z = σ ′ ( z ) [ w 3 ∂ C ∂ z ′ + w 4 ∂ C ∂ z ′ ′ ] \frac { \partial C } { \partial z } = \sigma ^ { \prime } ( z ) \left[ w _ { 3 } \frac { \partial C } { \partial z ^ { \prime } } + w _ { 4 } \frac { \partial C } { \partial z ^ { \prime \prime } } \right] ∂z∂C=σ′(z)[w3∂z′∂C+w4∂z′′∂C]

在这里我们注意到,每次我们想要计算当前这个neuron的C关于z的偏微分的时候,我们需要求出下一层的C的偏微分,也就是说,我们需要从后往前来反复求偏微分就可以了 ,这就是为什么叫做backpropagation ,这在ppt中叫做Compute ∂ C ∂ z \frac{\partial C}{\partial z} ∂z∂C reversely

Summary

因此我们的Back Propagation一共分为两步:

  1. forward pass 求出z的预测值并求出 ∂ z ∂ w \frac{\partial z}{\partial w} ∂w∂z 的值

  2. backward pass逆向顺序过程求出对应的偏微分

相关推荐
子燕若水2 分钟前
Unreal Engine 5中的AI知识
人工智能
极限实验室1 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿1 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫1 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
伍哥的传说1 小时前
React 各颜色转换方法、颜色值换算工具HEX、RGB/RGBA、HSL/HSLA、HSV、CMYK
深度学习·神经网络·react.js
大千AI助手2 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记2 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元2 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术2 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端