神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
高洁011 分钟前
图神经网络初探(2)
人工智能·深度学习·算法·机器学习·transformer
njsgcs9 分钟前
ai控制鼠标生成刀路系统 环境搭建尝试7 lsd识别刀路线段2
人工智能
哈__16 分钟前
实测VLM:昇腾平台上的视觉语言模型测评与优化实践
人工智能·语言模型·自然语言处理·gitcode·sglang
海森大数据22 分钟前
数据筛选新范式:以质胜量,揭开大模型后训练黑箱
人工智能·语言模型
PNP Robotics23 分钟前
PNP机器人受邀参加英业达具身智能活动
大数据·人工智能·python·学习·机器人
祝余Eleanor28 分钟前
Day 51 神经网络调参指南
深度学习·神经网络·机器学习
智算菩萨30 分钟前
【Python进阶】搭建AI工程:Python模块、包与版本控制
开发语言·人工智能·python
算法熔炉35 分钟前
深度学习面试八股文(4)—— transformer专题
深度学习·面试·transformer
大模型真好玩37 分钟前
LangGraph智能体开发设计模式(一)——提示链模式、路由模式、并行化模式
人工智能·langchain·agent
大学生毕业题目39 分钟前
毕业项目推荐:90-基于yolov8/yolov5/yolo11的工程车辆检测识别系统(Python+卷积神经网络)
人工智能·python·yolo·目标检测·cnn·pyqt·工程车辆检测