神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
papership4 分钟前
【如何做一个简单的skill(举例详细说明)】
人工智能
长葡萄的叶子7 分钟前
什么是RAG?
人工智能
Profile排查笔记10 分钟前
指纹浏览器环境异常排查:Fingerprint、Profile、Proxy、Session 和 Task Log 怎么看
前端·人工智能·后端·自动化
水木流年追梦14 分钟前
agent面试必备31- AI Agent 核心进阶:工具路由(Tool Routing)
数据库·人工智能·oracle·面试·职场和发展·embedding
Token炼金师16 分钟前
目标的抉择:CLM 称王、MLM 退场、FIM 补刀、多 Token 与多语 —— 预训练目标五辩
人工智能·深度学习·预训练·clm·mlm·fim·mtp
星马梦缘21 分钟前
机器学习与模式识别 第十三章 从线性模型到神经网络 考点压缩
人工智能·pytorch·神经网络·机器学习·激活函数·relu
大鱼>25 分钟前
深度学习入门:神经网络原理与 PyTorch 实战
pytorch·深度学习·神经网络
one_love_zfl26 分钟前
Claude Code 隐私检测事件情况说明及升级指南
人工智能
格子软件28 分钟前
2026年分布式GEO代理流量调度:源码级状态机防重挂实战
java·vue.js·人工智能·spring boot·分布式·vue
小柒儿33629 分钟前
量子通信产业化:从保密通信到全域应用,重构信息安全底层体系
人工智能·重构