嵌入式学习-(李宏毅)机器学习(4)-day31

如果我们都知道所有的weight和bias

那这就是一个function

如果我们只是定出了这个structure ,只是有一个架构,都不知道里面的参数的话,那就是一个function set

Backpropagation

有效率的演算法,是比较有效率的把这个vector计算出来

Chain Rule 链式法则

Backward pass

我们要计算weight对C的偏微分,那么我们拆成两项,前一项很好算,后一项比较麻烦, 前一项也叫做forward pass,后一项也叫做backward pass

先计算z5,z6,再计算z4,z3,。。。

summary

首先先做一个forward pass 前向传播 然后再计算backward pass

在乘起来就知道哪一个weight 对哪一个C的偏微分是什么了

相关推荐
橙橙笔记44 分钟前
C++的学习第三部分
开发语言·c++·学习
小席是个热心肠10 小时前
AI相关的自我学习
java·人工智能·学习
何事误红尘12 小时前
Mqtt学习笔记(一):Mosquitto服务器搭建、MQTTX安装测试
学习
青山是哪个青山12 小时前
LangChain 学习笔记(三):LangSmith 调试与监控
笔记·学习·langchain
那年窗外下的雪.14 小时前
AIDC 学习日志 第 04 天 BGP Underlay 基础与路由选择
服务器·学习·php
蒸蒸yyyyzwd14 小时前
cpp选手备战后端学习笔记day6 秋招笔试题
笔记·学习
weixin_4462608516 小时前
AVA-Encoder:面向智能体原生视频表征学习框架
学习·音视频
吃好睡好便好17 小时前
说说口罩的佩戴
学习·生活·口罩
nnerddboy17 小时前
LoRa自学笔记01:原理与学习路线
笔记·学习
fīɡЙtīиɡ ℡17 小时前
大模型结构化输出
人工智能·学习