神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
pchmi3 分钟前
CNN常用卷积核
深度学习·神经网络·机器学习·cnn·c#
Orange--Lin15 分钟前
【用deepseek和chatgpt做算法竞赛】——还得DeepSeek来 -Minimum Cost Trees_5
人工智能·算法·chatgpt
范桂飓20 分钟前
大规模 RDMA AI 组网技术创新:算法和可编程硬件的深度融合
人工智能
deflag33 分钟前
第P10周-Pytorch实现车牌号识别
人工智能·pytorch·yolo
pzx_00138 分钟前
【机器学习】K折交叉验证(K-Fold Cross-Validation)
人工智能·深度学习·算法·机器学习
海域云赵从友1 小时前
助力DeepSeek私有化部署服务:让企业AI落地更简单、更安全
人工智能·安全
伊一大数据&人工智能学习日志1 小时前
自然语言处理NLP 04案例——苏宁易购优质评论与差评分析
人工智能·python·机器学习·自然语言处理·数据挖掘
刀客1231 小时前
python3+TensorFlow 2.x(六)自编码器
人工智能·python·tensorflow
大模型之路1 小时前
Grok-3:人工智能领域的新突破
人工智能·llm·grok-3
闻道且行之2 小时前
LLaMA-Factory|微调大语言模型初探索(4),64G显存微调13b模型
人工智能·语言模型·llama·qlora·fsdp