神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
我叫张土豆2 分钟前
Swagger MCP 实战:把 OpenAPI 变成可控的 MCP 工具(Spring Boot + Spring AI)
人工智能·spring boot·spring
tq10866 分钟前
探索型任务的 Dual-Core-Delphi 工作流设计
人工智能
2501_926978337 分钟前
分形我思与时空同构理论:意识与宇宙的数学统一 --AGI理论系统基础9
人工智能·经验分享·架构·langchain·量子计算·agi
AI科技星11 分钟前
时空的几何动力学:基于光速螺旋运动公设的速度上限定理求导与全维度验证
人工智能·线性代数·算法·机器学习·平面
阿杰学AI11 分钟前
AI核心知识112—大语言模型之 Digital Employee Operations Specialist(简洁且通俗易懂版)
人工智能·ai·语言模型·自然语言处理·aigc·ai岗位·数字员工运营师
feasibility.13 分钟前
用memU bot做飞书ai办公机器人(含本地ollama模型接入+可视化图表mcp)
人工智能·科技·机器人·飞书·工具·agi·mcp
张居邪20 分钟前
开源项目 OpenSpec:如何用 RAG + Multi-Agent 生成企业级长文档
人工智能·架构
来两个炸鸡腿25 分钟前
【Datawhale组队学习202602】Easy-Vibe task03 动手做出原型
人工智能·学习·大模型·vibe coding
hg011826 分钟前
鲁班工坊:本土人才培育为非洲工业化注入新动能
人工智能
小雨中_26 分钟前
2.8 策略梯度(Policy Gradient)算法 与 Actor-critic算法
人工智能·python·深度学习·算法·机器学习