神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
TMT星球6 分钟前
科技领跑公益,擎天租机器人“天团”助阵2026渣打上海10公里跑
人工智能·科技·机器人
子午13 分钟前
校园课堂异常行为检测系统~Python+YOLOV8算法+深度学习+模型训练+人工智能
人工智能·python·yolo
青春不败 177-3266-052015 分钟前
MATLAB 2024b深度学习新特性全面解析与DeepSeek大模型集成开发
人工智能·深度学习·机器学习·matlab·卷积神经网络·自编码器·deepseek
2zcode21 分钟前
滚压表面强化过程中变形诱导位错演化与梯度晶粒细化机理的数值模拟研究
人工智能·python·算法
郭龙飞98022 分钟前
OpenClaw Windows 端快速部署教程 小白实操指南
人工智能·windows
冬奇Lab25 分钟前
RAG 系列(十八):Conversational RAG——多轮对话中的代词陷阱
人工智能·llm
渣渣苏27 分钟前
硬核拆解 HNSW:亿级向量如何实现毫秒级召回?(下篇:实战调参与工程优化)
人工智能·算法·agent·向量数据库·hnsw·智能体
俊哥V29 分钟前
每日 AI 研究简报 · 2026-05-16
人工智能·ai
冬奇Lab33 分钟前
一天一个开源项目(第103篇):Open-Generative-AI - 开源 AI 视频与图像创作中心
人工智能·开源·aigc