嵌入式学习-(李宏毅)机器学习(4)-day31

如果我们都知道所有的weight和bias

那这就是一个function

如果我们只是定出了这个structure ,只是有一个架构,都不知道里面的参数的话,那就是一个function set

Backpropagation

有效率的演算法,是比较有效率的把这个vector计算出来

Chain Rule 链式法则

Backward pass

我们要计算weight对C的偏微分,那么我们拆成两项,前一项很好算,后一项比较麻烦, 前一项也叫做forward pass,后一项也叫做backward pass

先计算z5,z6,再计算z4,z3,。。。

summary

首先先做一个forward pass 前向传播 然后再计算backward pass

在乘起来就知道哪一个weight 对哪一个C的偏微分是什么了

相关推荐
好望角雾眠6 小时前
第一阶段C#基础-10:集合(Arraylist,list,Dictionary等)
笔记·学习·c#
艾伦~耶格尔6 小时前
【集合框架LinkedList底层添加元素机制】
java·开发语言·学习·面试
星仔编程6 小时前
python学习DAY46打卡
学习
大霞上仙6 小时前
实现自学习系统,输入excel文件,能学习后进行相应回答
python·学习·excel
yatingliu20198 小时前
HiveQL | 个人学习笔记
hive·笔记·sql·学习
武当豆豆8 小时前
C++编程学习(第25天)
开发语言·c++·学习
风和日丽 随波逐流8 小时前
java17学习笔记-Deprecate the Applet API for Removal
笔记·学习
淮北也生橘128 小时前
Linux的ALSA音频框架学习笔记
linux·笔记·学习
diablobaal9 小时前
云计算学习100天-第17天
学习
果粒橙_LGC10 小时前
论文阅读系列(一)Qwen-Image Technical Report
论文阅读·人工智能·学习