神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
KG_LLM图谱增强大模型8 分钟前
OpenClaw创始人官宣加入OpenAI:从开源项目到AI智能体革命-附128页电子书OpenClaw入门到精通及安装部署指南
人工智能·开源
Asher阿舍技术站11 分钟前
【AI基础学习系列】四、Prompt基础知识
人工智能·学习·prompt
2401_8288906411 分钟前
实现扩散模型 Stable Diffusion - MNIST 数据集
人工智能·python·深度学习·stable diffusion
SailingCoder19 分钟前
【 从“打补丁“到“换思路“ 】一次企业级 AI Agent 的架构拐点
大数据·前端·人工智能·面试·架构·agent
hqyjzsb39 分钟前
企业培训ROI深度分析:如何将CAIE认证的显性与隐性成本纳入投资回报率模型
人工智能·考研·职场和发展·创业创新·学习方法·业界资讯·改行学it
大模型真好玩43 分钟前
最强开源多模态大模型它来啦——一文详解Qwen3.5核心特性
人工智能·agent·vibecoding
是店小二呀44 分钟前
CANN Catlass:AI 处理器高性能计算的核心引擎
人工智能
罗技1231 小时前
Docker启动Coco AI Server后,如何访问内置Easysearch?
人工智能·docker·容器
新缸中之脑1 小时前
TinyFish:网站转结构化API
人工智能
恋猫de小郭2 小时前
你知道不,你现在给 AI 用的 Agent Skills 可能毫无作用,甚至还拖后腿?
前端·人工智能·ai编程