神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
做萤石二次开发的哈哈1 分钟前
AI+台球 | 萤石点亮智慧台球厅,让娱乐更智能
人工智能
qq_235132175 分钟前
五金制造行业ERP系统多少钱?易呈erp五金行业版功能模块详解与成功案例分享
大数据·运维·人工智能·制造·智能制造
SmartBrain8 分钟前
基于华为管理理念刨析:三医领域数字化转型战略规划研究报告
人工智能·华为
云栖梦泽8 分钟前
【AI】AI安全工具:AI模型安全检测工具的实战使用
人工智能·安全·机器学习
Ashmcracker8 分钟前
Codex Desktop如何接入Azure OpenAI?AI Foundry部署GPT‑5.3‑codex 实操
人工智能·gpt·microsoft·azure
Datawhale9 分钟前
Claude AI 全套课程,如何从零开始构建并自动化各种项目!
运维·人工智能·自动化
与遨游于天地13 分钟前
AI的细胞哲学:从单体闭环到协同进化生态
人工智能
cxr82818 分钟前
GPU 加速声场求解器 - 深度扩展
人工智能·python
Linux猿18 分钟前
AI产品经理面试题65道 | 附PDF
人工智能·面试·产品经理·面试题·面试题目·ai产品经理面试题
handsomestWei19 分钟前
百度飞桨PaddleOCR图片印章检测技术简介
人工智能·百度·ocr·paddlepaddle·红色印章