神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
镭封13 分钟前
从视频文案提取到 AI 配音,短视频制作需要哪些工具?
人工智能·智能手机·音视频·语音识别·媒体
KaneLogger14 分钟前
magpie:让薅到的 AI 羊毛物尽其用
人工智能·ai编程
新知图书37 分钟前
2.2 ROS 2功能包节点编写
人工智能·机器人
数科星球38 分钟前
对话气核科技罗世豪:当AI能直接造出实物,下一轮创造革命才刚刚开始
人工智能·机器人
火山引擎开发者社区1 小时前
迎战双十一,如何让智能客服 Agent 经得起真实业务考验?
人工智能
mit6.8241 小时前
最近在读黑塞的《玻璃球游戏》-“ai预言“
人工智能
软件派1 小时前
MiniMax M3.1 Flash 高频业务落地实战指南
大数据·数据库·人工智能
麦豆GEO1 小时前
ToB企业GEO落地实战指南
大数据·人工智能
火山引擎开发者社区1 小时前
已升级!DeepSeek-V4.1-Flash-1017限时加量
人工智能