神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
yiersansiwu123d几秒前
工程化破局,2025年AI大模型的价值兑现之路
人工智能
_codemonster2 分钟前
自然语言处理容易混淆知识点(六)SentenceTransformer的训练参数
人工智能·自然语言处理
All The Way North-4 分钟前
PyTorch ExponentialLR:按指数学习率衰减原理、API、参数详解、实战
pytorch·深度学习·学习率优化算法·按指数学习率衰减
2501_941329724 分钟前
基于DETR的血细胞显微图像检测与分类方法研究【原创】_1
人工智能·数据挖掘
人工智能训练8 分钟前
Docker Desktop WSL 集成配置宝典:选项拆解 + 精准设置指南
linux·运维·服务器·人工智能·docker·容器·ai编程
golang学习记17 分钟前
VS Code使用 GitHub Copilot 高效重构代码:10 大实战技巧 + 自定义指令封装指南
人工智能
阿杰学AI20 分钟前
AI核心知识62——大语言模型之PRM (简洁且通俗易懂版)
人工智能·ai·语言模型·自然语言处理·aigc·prm·过程奖励模型
TG:@yunlaoda360 云老大20 分钟前
华为云国际站代理商的CBR支持哪些云服务备份?
网络·人工智能·华为云
用户51914958484523 分钟前
基础设施模板CLI工具:Boilerplates
人工智能·aigc