神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
我喜欢就喜欢2 分钟前
豆包赋能抖音内容创作与运营实战指南
人工智能·1024程序员节
weixin_4352081610 分钟前
大模型面试宝典——大模型(LLMs)基础面
人工智能·自然语言处理·agent
4SAPI10 分钟前
AI 数据分析工具大模型 API 选型指南
大数据·人工智能·架构·php·1024程序员节
企业数字化笔记14 分钟前
视频人体姿态怎么做三维可视化?2D关键点、深度局限与技术选型
人工智能·算法·音视频
古希腊掌管代码的神THU25 分钟前
为什么DPO中chosen/rejected概率同时下降?
人工智能·深度学习·机器学习·自然语言处理·面试
北京青蓝智慧马老师38 分钟前
比外部黑客更难防的,是那个有权限的自己人(3 个脱敏复盘)
大数据·数据库·人工智能
库拉镜像AI牛牛44 分钟前
零基础做漫剧怎么统一全片画风 知漫剧内置成熟风格模板
人工智能
长欢喜一场1 小时前
豆包:字节跳动AI助手的全方位透视
人工智能·搜索引擎·1024程序员节
4SAPI1 小时前
搭建 AI 数据分析工具大模型 API 选型指南
数据库·人工智能·架构·php·1024程序员节
vibecoding771 小时前
Kimi Code 如何接入 Kimi K3.1 Pro:三条路径全流程
人工智能·agent