神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
阿尔泰科技官方1 分钟前
阿尔泰科技——NVH/振动/声学测试专用解决方案
人工智能·信号采集·仪器仪表·数据采集卡·采样率
2601_9516599913 分钟前
4.19华为OD机试真题 新系统 - WIFI设备网络规划 (JavaPyCC++JsGo)
深度学习·yolo·计算机视觉·yolo11·yolo26
147API16 分钟前
Claude global workspace 研究给智能体测试提了一个醒
人工智能·算法·机器学习
闲猫16 分钟前
深入理解 Skills:从 API 调用到智能体行为封装
人工智能·python·langchain
葫三生17 分钟前
《论三生原理》与模糊数学的关联、异同、互补关系?
人工智能·科技·算法·机器学习·开源
刘一说20 分钟前
AI科技热点日报 | 2026年7月7日
人工智能·科技
ACP广源盛1392462567326 分钟前
破局 PCIe 4.0 交换瓶颈@ACP#IX8024 / ASM58024参数及应用对比
大数据·人工智能·分布式·嵌入式硬件
ishangy29 分钟前
吊箱号AI识别技术:防爆摄像机实现港口集装箱自动核对
人工智能·边缘计算·智慧港口·ai视觉识别·集装箱箱号识别·港口智能化
xiaoxiaoxiaolll30 分钟前
《Light: Sci Appl》封面级亮点:可训练误差卷积核如何让光学神经网络实现“逐层自治”?
人工智能
机器学习之心34 分钟前
硬约束物理信息神经网络如何反演含水层渗透系数场——从数学原理到代码实现
人工智能·深度学习·神经网络·硬约束物理信息神经网络·参数反演