神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
idkmn_6 分钟前
Daily AI 20251219 (PyTorch基础回顾3)
人工智能·pytorch·python·深度学习·神经网络
bulingg7 分钟前
集成模型:gbdt,xgboost,lightgbm,catboost
人工智能·算法·机器学习
最晚的py17 分钟前
深度学习简介
深度学习
Piar1231sdafa23 分钟前
【计算机视觉】YOLO11-DGCST:轴承表面划痕检测新方案
人工智能·计算机视觉
TG:@yunlaoda360 云老大23 分钟前
华为云国际站代理商的UCS主要有什么作用呢?
人工智能·自然语言处理·华为云·云计算
中维ZWPD25 分钟前
打破工业软件分类桎梏:ZWPD的实践探索与创新突破
人工智能·3d·流程图
极客BIM工作室26 分钟前
让AI自动“造房间”:SpatialGen是什么?
人工智能
serve the people27 分钟前
TensorFlow 2.0 手写数字分类教程
人工智能·分类·tensorflow
free-elcmacom27 分钟前
机器学习高阶教程<7>Transformer原理全景解读:从“序列困境”到“注意力革命”
人工智能·python·机器学习·transformer
才思喷涌的小书虫27 分钟前
DINO-X 视觉模板挑战赛火热报名中
人工智能·目标检测·计算机视觉·ai·数据标注·图像标注·模型定制