嵌入式学习-(李宏毅)机器学习(4)-day31

如果我们都知道所有的weight和bias

那这就是一个function

如果我们只是定出了这个structure ,只是有一个架构,都不知道里面的参数的话,那就是一个function set

Backpropagation

有效率的演算法,是比较有效率的把这个vector计算出来

Chain Rule 链式法则

Backward pass

我们要计算weight对C的偏微分,那么我们拆成两项,前一项很好算,后一项比较麻烦, 前一项也叫做forward pass,后一项也叫做backward pass

先计算z5,z6,再计算z4,z3,。。。

summary

首先先做一个forward pass 前向传播 然后再计算backward pass

在乘起来就知道哪一个weight 对哪一个C的偏微分是什么了

相关推荐
好奇龙猫13 小时前
【AI学习-comfyUI学习-第三十节-第三十一节-FLUX-SD放大工作流+FLUX图生图工作流-各个部分学习】
人工智能·学习
saoys13 小时前
Opencv 学习笔记:图像掩膜操作(精准提取指定区域像素)
笔记·opencv·学习
电子小白12314 小时前
第13期PCB layout工程师初级培训-1-EDA软件的通用设置
笔记·嵌入式硬件·学习·pcb·layout
唯情于酒15 小时前
Docker学习
学习·docker·容器
charlie11451419116 小时前
嵌入式现代C++教程: 构造函数优化:初始化列表 vs 成员赋值
开发语言·c++·笔记·学习·嵌入式·现代c++
IT=>小脑虎16 小时前
C++零基础衔接进阶知识点【详解版】
开发语言·c++·学习
#眼镜&17 小时前
嵌入式学习之路2
学习
码农小韩17 小时前
基于Linux的C++学习——指针
linux·开发语言·c++·学习·算法
微露清风17 小时前
系统性学习C++-第十九讲-unordered_map 和 unordered_set 的使用
开发语言·c++·学习
wdfk_prog17 小时前
[Linux]学习笔记系列 -- [fs]seq_file
linux·笔记·学习