神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
CareyWYR3 分钟前
每周AI论文速递(260316-260320)
人工智能
Bonnie3736 分钟前
云边端一体化解析-什么是云边端,为何能成为AI基础设施核心
人工智能·程序人生·云原生·个人开发
李小狼lee16 分钟前
openclaw小龙虾的安装
人工智能
AMZ-Lu16 分钟前
正本清源:亚马逊战场上的“原创者红利”与心智产权
大数据·人工智能·媒体·亚马逊
集芯微电科技有限公司19 分钟前
AD536A高性能真有效值直流转换电路替代PC2909
人工智能·单片机·嵌入式硬件·神经网络·生成对抗网络
2501_9269783321 分钟前
物理学原理和人工智能领域的底层一致性
人工智能·经验分享·笔记·ai写作
谁在黄金彼岸23 分钟前
阿里云VIS + Qwen-Vision自定义抠图系统实现指南
人工智能
NOCSAH33 分钟前
统好AI数智一体化平台:原生一体架构筑牢数智基底
大数据·人工智能·统好ai·数智一体化平台
不老刘38 分钟前
Google 的 AI 双璧:AI Studio 与 NotebookLM 全解析
人工智能
AI周红伟42 分钟前
周红伟:豆包大模型的尽头是直播间,豆包开启AI购物内测 电商平台加码“一句话购物”
人工智能·阿里云·云计算·腾讯云·openclaw