神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
code_pgf1 分钟前
LLM/MLLM 与世界模型在具身智能中的角色、局限与分类
人工智能
I-NullMoneyException4 分钟前
0713|油价飙升、蓝牙致癌辟谣、AI推理成本、曼谷火灾、世界杯超清
人工智能·区块链
茶马古道的搬运工10 分钟前
AI 深度技能之-解读PilotDeck(三)- 多角色协同开发
人工智能
蓝田~13 分钟前
AI 图片与视频处理 — 从原理到实践
网络·人工智能·音视频
每日综合27 分钟前
焊牢工业“关节”:灵科超声波凭“中国精度”成为全球品牌
人工智能
hhb_61828 分钟前
云原生AI工作流分布式调度实战
人工智能·云原生
大鹏的NLP博客31 分钟前
深度学习模型 ONNX 与 RKNN 数值一致性校验通用技术报告
人工智能·深度学习
雪隐1 小时前
用Flutter做背单词APP-04一个人,2周,从零撸出一个背单词App
前端·人工智能·后端
Ivanqhz1 小时前
DRN(深度强化学习推荐网络)
人工智能·线性代数·机器学习·矩阵·dnn
xd1855785551 小时前
梦境解析师-基于鸿蒙的梦境心理分析应用开发实践
人工智能·华为·harmonyos·鸿蒙