神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
没落英雄5 分钟前
2. 让 Agent 能读写文件、执行命令 —— LocalShellBackend 实战
前端·人工智能·架构
Daybreak7 分钟前
一次阿里云百炼异常扣费的排查和修复总结
人工智能
十九画生8 分钟前
LLM 是怎么预测下一个词的?从 Token 到 Transformer 的内部流程
人工智能
程序员cxuan10 分钟前
Anthropic 大面积封号,连大 V 都忍不了开喷了。
人工智能·后端·程序员
用户8524950718410 分钟前
大模型是怎么学会"接话"的?从 Token 到自注意力一次讲清楚
人工智能
小林ixn11 分钟前
LLM如何预测下一个词?从Token到概率,一文看懂大模型推理内幕
人工智能·llm
智域12 分钟前
从 Prompt Injection 到 Tool Runtime:企业 AI 安全防护的工程链路
人工智能
redreamSo21 分钟前
团队 AI 资产总烂在本地?先分清哪些该装、哪些只能连
人工智能·架构·开源
MacroZheng21 分钟前
短短几天,暴涨2.8万Star!又一款编程神器开源!
java·人工智能·后端