神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
HIT_Weston2 小时前
45、【Agent】【OpenCode】本地代理分析(请求&接收回调)
人工智能·agent·opencode
逻辑君3 小时前
认知神经科学研究报告【20260010】
人工智能·深度学习·神经网络·机器学习
星河耀银海3 小时前
远控体验分享:安全与实用性参考
人工智能·安全·微服务
企业架构师老王3 小时前
2026企业架构演进:科普Agent(龙虾)如何从“极客玩具”走向实在Agent规模化落地?
人工智能·ai·架构
GreenTea3 小时前
一文搞懂Harness Engineering与Meta-Harness
前端·人工智能·后端
鬼先生_sir3 小时前
Spring AI Alibaba 1.1.2.2 完整知识点库
人工智能·ai·agent·源码解析·springai
深念Y4 小时前
豆包AI能力集成方案:基于会话管理的API网关设计
人工智能
龙文浩_4 小时前
Attention Mechanism: From Theory to Code
人工智能·深度学习·神经网络·学习·自然语言处理
ulimate_4 小时前
八卡算力、三个Baseline算法(WALLOSS、pi0、DreamZero)
人工智能
深小乐4 小时前
AI 周刊【2026.04.06-04.12】:Anthropic 藏起最强模型、AI 社会矛盾激化、"欢乐马"登顶
人工智能