神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
Serverless社区44 分钟前
AgentRun实践指南:Agent 的宝藏工具—All-In-One Sandbox
人工智能
AngelPP1 小时前
拆解 OpenClaw 上下文引擎:一个 AI Agent 是如何管理"记忆"的
人工智能
老纪的技术唠嗑局1 小时前
OpenClaw + 6 个 Agent 运转半个月,从聊天到干活的完整工程实践
人工智能
Guo白给1 小时前
openclaw飞书部署手册
人工智能
itpretty1 小时前
如何用 skill-creator 创建、测试和优化 skill
人工智能·claude
蓝戒札记1 小时前
效率神器 NotebookLM:构建高质量知识库的完整教程与落地最佳实践
人工智能
chaors1 小时前
Langchain入门到精通0x02:ICEL
人工智能·langchain·ai编程
吴佳浩1 小时前
什么是算力?
人工智能·pytorch·llm
charlex2 小时前
【陈同学】走进 AI Agent:从“对话框”到“自主智能体”
人工智能·agent
百度Geek说2 小时前
打造高效易用的Agent Skill
人工智能