神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
芝士爱知识a1 天前
2026年教资备考数字化生存指南:主流App深度测评与AI技术应用分析
人工智能·教资·ai教育·教育技术·教资面试·app测评·2026教资
AIArchivist1 天前
攻坚肝胆疑难病例,AI成为诊疗决策的“智慧大脑”
人工智能
jake don1 天前
GPU服务器搭建大模型指南
服务器·人工智能
JicasdC123asd1 天前
【深度学习实战】基于Mask-RCNN和HRNetV2P的腰果智能分级系统_1
人工智能·深度学习
星爷AG I1 天前
9-28 视觉工作记忆(AGI基础理论)
人工智能·计算机视觉·agi
陈天伟教授1 天前
人工智能应用- 语言理解:07.大语言模型
人工智能·深度学习·语言模型
岱宗夫up1 天前
机器学习:标准化流模型(NF)
人工智能·python·机器学习·生成对抗网络
程序猿阿伟1 天前
《游戏AI训练模拟环境:高保真可加速构建实战指南》
人工智能·游戏
花月mmc1 天前
CanMV K230 波形识别——整体部署(4)
人工智能·python·嵌入式硬件·深度学习·信号处理
tel_182175397671 天前
AOI全自动视觉检测生活用纸表面缺陷检测
人工智能·视觉检测·生活