神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
table study9 分钟前
LzzCad:一款开源的 AI + CAD/CAM 软件
人工智能
rain_sxr10 分钟前
浏览器跑大模型:WebGPU 端侧推理的加载、回退与性能工程
人工智能
薛定e的猫咪13 分钟前
Codex全套科研技能汇总
人工智能·深度学习
大鹏的NLP博客17 分钟前
Padding 对工业声学异常检测中自编码器判分逻辑的影响分析
深度学习·声音检测
码农学院23 分钟前
跨平台AI搜索优化的统一策略与引擎差异适配方法
人工智能
赫文派37 分钟前
K3 与 Kimi Code 实战:模型到终端 Agent
人工智能·ai编程
z123456777940 分钟前
2026年企业AI办公工具深度评测:钉钉悟空平替横向选型指南
人工智能·钉钉
网易云信1 小时前
网易智企入选《2026人工智能发展白皮书》,帝王蟹引领“智能增效”场景
人工智能·agent
老兵发新帖1 小时前
Transformer最新小样本学习能力分析
人工智能
阿虎儿1 小时前
Dify Failed to invoke tool: Aborted: Maximum execution steps exceeded: 501 > 500
人工智能