嵌入式学习-(李宏毅)机器学习(4)-day31

如果我们都知道所有的weight和bias

那这就是一个function

如果我们只是定出了这个structure ,只是有一个架构,都不知道里面的参数的话,那就是一个function set

Backpropagation

有效率的演算法,是比较有效率的把这个vector计算出来

Chain Rule 链式法则

Backward pass

我们要计算weight对C的偏微分,那么我们拆成两项,前一项很好算,后一项比较麻烦, 前一项也叫做forward pass,后一项也叫做backward pass

先计算z5,z6,再计算z4,z3,。。。

summary

首先先做一个forward pass 前向传播 然后再计算backward pass

在乘起来就知道哪一个weight 对哪一个C的偏微分是什么了

相关推荐
笨鸟笃行3 小时前
百日挑战——单词篇(第十六天)
学习
三品吉他手会点灯3 小时前
STM32F103学习笔记-16-RCC(第3节)-使用HSE配置系统时钟并使用MCO输出监控系统时钟
c语言·笔记·stm32·单片机·嵌入式硬件·学习
CarmenHu3 小时前
IBM RAG挑战赛冠军方案学习笔记
笔记·学习
小叮当⇔4 小时前
树莓派4B使用指南
学习·树莓派
straw_hat.4 小时前
32HAL——万年历
stm32·单片机·学习
snakecy4 小时前
二叉树、动态规划与链表学习
学习·链表·动态规划
Bathwind-w5 小时前
空间矢量脉宽调制(Space Vector Pulse Width Modulation)SVPWM基础
学习
小苏兮5 小时前
【把Linux“聊”明白】自动化构建-make/Makefile详解
linux·服务器·学习·自动化·1024程序员节
XH1.5 小时前
学习RT-thread(项目一:基于RT-thread的multi_button控制灯闪烁)
stm32·单片机·学习
Wu Liuqi6 小时前
【大模型学习4】大语言模型(LLM)详解
人工智能·学习·语言模型·大模型