[note]李宏毅Deep Learning 之 BackPropagation笔记

文章目录

  • [Gradient Descent](#Gradient Descent)
  • [Math premise](#Math premise)
  • [Back Propagation](#Back Propagation)
    • [forward pass](#forward pass)
    • [backward pass](#backward pass)
  • Summary

中文名:反向传播算法

用于Gradient Descent 来train 一个neural network时用到

BackPropagation的核心是通过链式法则改变微分形式,并用forward pass 与 backward pass求出对应微分

Gradient Descent

在进行Gradient Descent 步骤的时候,我们需要计算 ∇ L \nabla L ∇L ,也就是要计算L对各个parameter的偏微分,如果我们的parameter非常多,我们的layers也比较多(例如在做语音识别模型的时候可能有7,8层)

To compute the gradients efficiently,we use backpropagation

Math premise

数学前置知识:Chain Rule

不懂的自行学习Calculus

Back Propagation

这里 C n C^n Cn 代表预测值 y n y^n yn 与 真实值 y ^ n \hat y^n y^n 的距离

对公式整体取偏微分可以得到右式

我们先取三角形中的neuron出来考虑

我们想要计算 ∂ C ∂ w \frac { \partial C } { \partial w } ∂w∂C ,根据一阶微分形式不变性可得 \\frac { \\partial C } { \\partial w } = \\frac { \\partial z } { \\partial w } \\frac { \\partial C } { \\partial z }

我们将前面的 ∂ z ∂ w \frac {\partial z}{\partial w} ∂w∂z 称为Forward Pass :commute ∂ z ∂ w \frac {\partial z}{\partial w} ∂w∂z for all parameters,这个很容易计算即是前面feature的值

将后面的 ∂ C ∂ z \frac { \partial C } { \partial z} ∂z∂C 称为Backward Pass :commute ∂ C ∂ z \frac { \partial C } { \partial z} ∂z∂C for all activation function inputs z

forward pass

forward pass 计算起来很简单

也就是说Forward pass 过程就是将input输入进neural network中计算每一个neuron 的Output即可

backward pass

如何计算 ∂ C ∂ z \frac { \partial C } { \partial z} ∂z∂C ?

我们同样使用一阶微分形式不变性\\frac { \\partial C } { \\partial z } = \\frac { \\partial a } { \\partial z } \\frac { \\partial C } { \\partial a }

∂ a ∂ z \frac{\partial a}{\partial z} ∂z∂a 就是Activation function的微分(假如是sigmoid function就是 σ ′ ( z ) \sigma ^ { \prime }(z) σ′(z))

那么 ∂ C ∂ a \frac{\partial C}{\partial a} ∂a∂C 计算则是利用Chain rule表示为 ∂ C ∂ a = ∂ z ′ ∂ a ∂ C ∂ z ′ + ∂ z ′ ′ ∂ a ∂ C ∂ z ′ ′ \frac { \partial C } { \partial a } = \frac { \partial z ^ { \prime } } { \partial a } \frac { \partial C } { \partial z ^ { \prime } } + \frac { \partial z ^ { \prime \prime } } { \partial a } \frac { \partial C } { \partial z ^ { \prime \prime } } ∂a∂C=∂a∂z′∂z′∂C+∂a∂z′′∂z′′∂C

这里两项的原因是因为a的下一项只有两个neuron,如果有n个则是n个的summation

也就是说现在如果我们知道?的两个值就可以得出 ∂ C ∂ z \frac { \partial C } { \partial z} ∂z∂C 的值了

∂ C ∂ z = σ ′ ( z ) [ w 3 ∂ C ∂ z ′ + w 4 ∂ C ∂ z ′ ′ ] \frac { \partial C } { \partial z } = \sigma ^ { \prime } ( z ) \left[ w _ { 3 } \frac { \partial C } { \partial z ^ { \prime } } + w _ { 4 } \frac { \partial C } { \partial z ^ { \prime \prime } } \right] ∂z∂C=σ′(z)[w3∂z′∂C+w4∂z′′∂C]

在这里我们注意到,每次我们想要计算当前这个neuron的C关于z的偏微分的时候,我们需要求出下一层的C的偏微分,也就是说,我们需要从后往前来反复求偏微分就可以了 ,这就是为什么叫做backpropagation ,这在ppt中叫做Compute ∂ C ∂ z \frac{\partial C}{\partial z} ∂z∂C reversely

Summary

因此我们的Back Propagation一共分为两步:

  1. forward pass 求出z的预测值并求出 ∂ z ∂ w \frac{\partial z}{\partial w} ∂w∂z 的值

  2. backward pass逆向顺序过程求出对应的偏微分

相关推荐
算家计算3 分钟前
一行命令,玩转所有主流音视频格式!一站式音视频处理工具——FFmpeg本地部署教程
人工智能
Include everything6 分钟前
Rust学习笔记(三)|所有权机制 Ownership
笔记·学习·rust
AAA修煤气灶刘哥7 分钟前
Java+AI 驱动的体检报告智能解析:从 PDF 提取到数据落地全指南
java·人工智能·后端
AI 嗯啦16 分钟前
SQL详细语法教程(四)约束和多表查询
数据库·人工智能·sql
三块钱079429 分钟前
如何让AI视频模型(如Veo)开口说中文?一个顶级提示词的深度拆解
人工智能
轻松Ai享生活36 分钟前
从0-1学习CUDA | week 1
人工智能
蒋星熠38 分钟前
C++零拷贝网络编程实战:从理论到生产环境的性能优化之路
网络·c++·人工智能·深度学习·性能优化·系统架构
wayman_he_何大民42 分钟前
初始机器学习算法 - 关联分析
前端·人工智能
杭州泽沃电子科技有限公司1 小时前
告别翻山越岭!智能监拍远程守护输电线路安全
运维·人工智能·科技·安全
wayman_he_何大民1 小时前
初始机器学习算法 - 聚类分析
前端·人工智能