神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
呆萌很3 分钟前
BGR和RGB区别
人工智能
L念安dd13 分钟前
基于 PyTorch 的轻量推荐系统框架
人工智能·pytorch·python
大模型真好玩1 小时前
大模型训练全流程实战指南工具篇(六)——OCR工具实战指南(以DeepSeek-OCR-2为例)
人工智能·langchain·deepseek
谁不学习揍谁!1 小时前
大数据可视化看板:基于电子竞技行业数据大数据可视化分析(详细源码文档等资料)
人工智能·python·信息可视化·stylus
石逸凡1 小时前
智理资产,拿下中台,攻占锦州
人工智能
Mr_Lucifer1 小时前
Duet Space:快手版的 cowork ?
人工智能·ai编程·产品
文艺倾年1 小时前
【免训练&测试时扩展】通过任务算术转移思维链能力
人工智能·分布式·算法
上海合宙LuatOS1 小时前
LuatOS核心库API——【fft 】 快速傅里叶变换
java·前端·人工智能·单片机·嵌入式硬件·物联网·机器学习
硬汉嵌入式2 小时前
CMSIS全家桶再增加个机器学习参考应用与模板软件包CMSIS-MLEK
人工智能·机器学习