神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
Clarence Liu几秒前
用大白话讲解人工智能(11) 向量数据库:AI的“长期记忆“是如何实现的?
人工智能
AI英德西牛仔2 分钟前
豆包回答怎么导出
人工智能
2501_926978337 分钟前
近10年中国社会发展路径总体视角图--双层架构的出现
大数据·人工智能
啊阿狸不会拉杆9 分钟前
《计算机视觉:模型、学习和推理》第 6 章-视觉学习和推理
人工智能·学习·算法·机器学习·计算机视觉·生成模型·判别模型
Loo国昌9 分钟前
【AI应用开发实战】04_混合检索器:BM25+向量+可靠度融合实战
人工智能·后端·python·自然语言处理
得一录13 分钟前
AI Agent的主流设计模式之反射模式
人工智能·设计模式
IvanCodes15 分钟前
Gemini 3.1 Pro 正式发布:一次低调更新,还是谷歌的关键反击?
人工智能·大模型·llm
是小蟹呀^20 分钟前
【论文比较】从 DeepSRC 到 BSSR:当“稀疏表示”遇上“深度学习”,算法是如何进化的?
深度学习·分类·deepsrc·bssr
Y前进四23 分钟前
ICLR 2026 Oral论文阅读 (21篇 对齐、公平、安全、隐私及社会考量)
论文阅读·人工智能