神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
Master_oid3 分钟前
机器学习25:了解领域自适应(Domain Adaptation)
人工智能·深度学习·机器学习
永恒-龙啸9 分钟前
图像增强与滤波
图像处理·人工智能·计算机视觉
嗷嗷哦润橘_24 分钟前
AI Agent学习:MetaGPT项目之RAG
人工智能·python·学习·算法·deepseek
Buxxxxxx28 分钟前
DAY 39 GPU训练及类的call方法
人工智能
我有医保我先冲29 分钟前
企业级会议管理工具选型指南:从需求分析到方案落地
人工智能·经验分享·自然语言处理·需求分析
良策金宝AI35 分钟前
从CAD插件到原生平台:工程AI的演进路径与智能协同新范式
大数据·人工智能
陈天伟教授41 分钟前
人工智能应用-机器视觉:车牌识别(2)
人工智能·神经网络·机器学习
江上鹤.14843 分钟前
Day37 MLP神经网络的训练
人工智能·深度学习·神经网络
java1234_小锋1 小时前
Transformer 大语言模型(LLM)基石 - Transformer架构详解 - 残差连接(Residual Connection)详解以及算法实现
深度学习·语言模型·transformer
min1811234561 小时前
分公司组织架构图在线设计 总部分支管理模板
大数据·人工智能·信息可视化·架构·流程图