神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
小雨中_9 分钟前
3.1 GPT 系列:Generative Pre-Training(从 GPT-1 到 GPT-3)
人工智能·gpt·深度学习·机器学习·自然语言处理·gpt-3
xuxianliang11 分钟前
第158章 “神谕”的布局(AI)
人工智能·程序员创富
速易达网络16 分钟前
AI学习路径 python到openclaw
人工智能·python·学习
量子-Alex20 分钟前
【大模型智能体】MemGPT论文深度解读
人工智能
李白你好23 分钟前
企业级软件分发管理平台
人工智能
沪漂阿龙23 分钟前
大模型推理成本与优化技术全景解析:从显存估算到Continuous Batching
大数据·人工智能
海兰26 分钟前
上下文工程:金融服务可信AI缺失的核心层
人工智能
VALENIAN瓦伦尼安教学设备28 分钟前
品牌故事:1964年塞纳河畔ASHOOTER激光对中仪诞生的夜晚
数据库·人工智能·嵌入式硬件
cxr82831 分钟前
全栈规模化虚拟企业:下一代商业物种的系统演进与架构重构
人工智能·重构·架构·智能体·ai智能体·openclaw
清风与日月31 分钟前
OpenCV 读取和显示图像功能详解
人工智能·opencv·计算机视觉