神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
夏天是冰红茶4 小时前
DINO原理详解
人工智能·深度学习·机器学习
吴佳浩7 小时前
Python入门指南(六) - 搭建你的第一个YOLO检测API
人工智能·后端·python
SHIPKING3937 小时前
【AI应用开发设计指南】基于163邮箱SMTP服务实现验证登录
人工智能
yong99907 小时前
基于SIFT特征提取与匹配的MATLAB图像拼接
人工智能·计算机视觉·matlab
知秋一叶1238 小时前
Miloco 深度打通 Home Assistant,实现设备级精准控制
人工智能·智能家居
春日见8 小时前
在虚拟机上面无法正启动机械臂的控制launch文件
linux·运维·服务器·人工智能·驱动开发·ubuntu
————A8 小时前
强化学习----->轨迹、回报、折扣因子和回合
人工智能·python
CareyWYR9 小时前
每周AI论文速递(251215-251219)
人工智能
weixin_409383129 小时前
在kaggle训练Qwen/Qwen2.5-1.5B-Instruct 通过中二时期qq空间记录作为训练数据 训练出中二的模型为目标 第一次训练 好像太二了
人工智能·深度学习·机器学习·qwen
JoannaJuanCV9 小时前
自动驾驶—CARLA仿真(22)manual_control_steeringwheel demo
人工智能·自动驾驶·pygame·carla