神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
DeepFlow 零侵扰全栈可观测7 分钟前
3分钟定位OA系统GC瓶颈:DeepFlow全栈可观测平台实战解析
大数据·运维·人工智能·云原生·性能优化
想用offer打牌18 分钟前
一站式讲清Spring AI Alibaba的OverAllState和RunnableConfig
人工智能·架构·github
生成论实验室30 分钟前
生成论之基:“阴阳”作为元规则的重构与证成——基于《易经》与《道德经》的古典重诠与现代显象
人工智能·科技·神经网络·算法·架构
数据分享者37 分钟前
对话对齐反馈数据集:12000+高质量人类-助手多轮对话用于RLHF模型训练与评估-人工智能-大语言模型对齐-人类反馈强化学习-训练符合人类期望的对话模型
人工智能·语言模型·自然语言处理
Java后端的Ai之路38 分钟前
【人工智能领域】- 卷积神经网络(CNN)深度解析
人工智能·神经网络·cnn
_清欢l42 分钟前
Dify+test2data实现自然语言查询数据库
数据库·人工智能·openai
咕噜签名-铁蛋43 分钟前
云服务器GPU:释放AI时代的算力引擎
运维·服务器·人工智能
Niuguangshuo1 小时前
变分推断:用简单分布逼近复杂世界的艺术
人工智能·机器学习
enjoy编程1 小时前
Spring-AI 大模型未来:从“学会世界”到“进入世界”的范式跃迁
人工智能·领域大模型·替换工种·中后训练·长尾场景
victory04311 小时前
llama2 MLP 门控FFN
深度学习·transformer