神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
爱学习的张大19 分钟前
具身智能论文问答(三):Open VLA
人工智能·算法
架构源启19 分钟前
OpenClaw 只能手动写脚本?我用 Chrome 插件实现了“录制即生成“
前端·人工智能·chrome·自动化
霍格沃兹测试学院-小舟畅学20 分钟前
多模态AI(图像+文本)该怎么测试?不是把图片丢给模型这么简单
人工智能
大山同学27 分钟前
claudecode精炼版-CoreCoder
数据库·人工智能·claude code·corecoder
hughnz29 分钟前
建井数字化
人工智能
极智视界33 分钟前
分类数据集 - 蘑菇分类数据集下载
人工智能·yolo·数据集·图像分类·算法训练·蘑菇分类
爱学习的张大34 分钟前
具身智能论文精读(四):Diffusion Policy
人工智能
让我上个超影吧43 分钟前
从Prompt工程到Harness工程:AI Agent落地的下一代软件工程范式
大数据·人工智能
jinanwuhuaguo1 小时前
OpenClaw联邦之心——从孤岛记忆到硅基集体潜意识的拓扑学革命(第二十三篇)
android·人工智能·kotlin·拓扑学·openclaw
科技云报道1 小时前
安全进入“AI自主攻击”时代,瑞数信息如何用AI对抗AI
人工智能·安全