神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
Irissgwe1 分钟前
LangChain之核心组件(文档加载器Document loaders)
人工智能·ai·langchain·llm·rag·langgraph·文档加载器
东哥爱编程5 分钟前
开发者必看!全网高性价比 AI API 聚合站:apidg.xyz (支持 573 个模型)
人工智能
humcomm7 分钟前
AI 编程时代-全栈开发技术栈解析
开发语言·人工智能
guo_xiao_xiao_9 分钟前
YOLOv11城市道路自行车目标检测数据集-999张-Bicycle-1
人工智能·yolo·目标检测
2601_9567436811 分钟前
上海大模型应用开发费用、靠谱度与服务商选择:一份真实可用的参考指南
大数据·人工智能
guo_xiao_xiao_11 分钟前
YOLOv11机场跑道大型客机-飞机目标检测数据集-201张-Airplane-1_2_2
人工智能·yolo·目标检测
迁旭15 分钟前
claude code 规划模式(Plan Mode)完整指南
人工智能·机器学习·文心一言·知识图谱
user298769827065416 分钟前
七、Git Worktree:为什么隔离工作空间很重要
人工智能
八月瓜科技18 分钟前
豆包启动付费会员测试,承诺基础服务永久免费,免费AI时代是否终结?
数据库·人工智能·科技·深度学习·机器人
Jiude22 分钟前
经验正在失去垄断性
人工智能·架构·设计