神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
得贤招聘官3 小时前
精准招聘新纪元:AI 重构选才逻辑
人工智能
qzhqbb3 小时前
神经网络—— 学习与感知器(细节补充)
神经网络·学习
ChatPPT_YOO4 小时前
智能演示时代:8款免费AI PPT生成工具全面评测
人工智能·powerpoint·ai生成ppt·ppt制作
却道天凉_好个秋4 小时前
OpenCV(二十一):图像的放大与缩小
人工智能·opencv·计算机视觉
风暴之零4 小时前
卡尔曼滤波学习
人工智能·学习·机器学习
DatGuy4 小时前
Week 24: 深度学习补遗:Vision Transformer (ViT) 复现
人工智能·深度学习·transformer
盼小辉丶5 小时前
使用互信息进行无监督学习
深度学习·keras·无监督学习
A尘埃5 小时前
项目三:信息抽取与图谱问答(医疗科研文献知识图谱与智能问答平台)
人工智能·windows·知识图谱
鹿鸣悠悠5 小时前
AI测试(含大模型)与普通测试的区别及实施方法
人工智能
闲看云起5 小时前
一文了解RoPE(旋转位置编码)
人工智能·语言模型·自然语言处理