神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
JicasdC123asd1 分钟前
如何使用YOLOv10n进行台风灾害区域识别与分类——基于改进的HAFB-2模型实现
人工智能·yolo·分类
抖知书13 分钟前
喂饭级AI提示词公开!帮短视频创作者写脚本大纲
人工智能
Elastic 中国社区官方博客13 分钟前
JINA AI 与 Elasticsearch 的集成
大数据·人工智能·elasticsearch·搜索引擎·全文检索·jina
高洁0121 分钟前
AI智能体搭建(3)
人工智能·深度学习·算法·数据挖掘·知识图谱
道可云35 分钟前
道可云人工智能每日资讯|南宁市公布第二批“人工智能+制造”应用场景“机会清单”和“能力清单”
人工智能·制造
ai_top_trends36 分钟前
不同 AI 生成 2026 年工作计划 PPT 的使用门槛对比
人工智能·python·powerpoint
人工智能AI技术43 分钟前
开源大模型选型指南:从LLaMA3到文心ERNIE,实战适配不同业务场景
人工智能
TOWE technology44 分钟前
聚焦价值 重塑增长
大数据·人工智能·企业
老顾聊技术1 小时前
“Anthropic 最新发布的 AI Skills:赋能任务自动化与跨领域应用“
运维·人工智能·自动化
AI科技星1 小时前
时空几何:张祥前统一场论20核心公式深度总结
人工智能·线性代数·算法·机器学习·生活