神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
志栋智能1 分钟前
告别高昂投入:超自动化IT运维的轻量化实践
大数据·运维·网络·人工智能·自动化
腾视科技TENSORTEC7 分钟前
腾视科技TS-SG-SM7系列AI算力模组:32TOPS算力引擎,开启边缘智能新纪元
大数据·人工智能·科技·ai·ai算力模组·ai模组·ainas
红色石头本尊8 分钟前
3-输出解析器outputParsers
人工智能
Theodore_102215 分钟前
深度学习(12)正则化线性回归中的偏差与方差调试
人工智能·深度学习·算法·机器学习·线性回归
半自定义大剑仙20 分钟前
RUL寿命预测从零讲起
人工智能
梦想的旅途221 分钟前
企微智能知识库:AI赋能私域流量
人工智能·自动化·企业微信
JavaPub-rodert26 分钟前
Codex是什么?和ChatGPT有什么区别
人工智能·chatgpt·codex
链巨人30 分钟前
理解L-平滑 (L-smoothness)和\mu-强凸 (\mu-strong convexity)并以此假设来证明梯度下降方法的收敛性
人工智能·机器学习
薛定猫AI40 分钟前
【技术干货】Open Claw 最新重大更新:插件生态、上下文控制与自托管 AI 助手的工程实践
人工智能
俊哥V40 分钟前
每日 AI 研究简报 · 2026-03-24
人工智能