神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
向量引擎小橙几秒前
视觉艺术的“奇点”:深度拆解 Gemini-3-Pro-Image-Preview 绘画模型,看这只“香蕉”如何重塑 AI 创作逻辑!
人工智能·python·gpt·深度学习·llama
AI周红伟2 分钟前
周红伟:数字人智能体构建实操,《数字人智能体部署应用:数字人大模型和智能体+Skills+RAG+Agent+Claude Code的部署应用案例实操》
人工智能
KG_LLM图谱增强大模型14 分钟前
人工智能本体论:大模型辅助构建AI概念层级体系
人工智能
Web3VentureView15 分钟前
X Space AMA回顾|预测熊市底部:当市场寻找价格,SYNBO正在构建未来
人工智能·物联网·金融·web3·区块链
SmartBrain1 小时前
Python 特性(第一部分):知识点讲解(含示例)
开发语言·人工智能·python·算法
byzh_rc1 小时前
[深度学习网络从入门到入土] 网络中的网络NiN
网络·人工智能·深度学习
AI周红伟1 小时前
周红伟:企业智能体构建实操,《下一代智能体:Claude code+Skills+Gemini+RAG+Agent智能体构建案例实操》
人工智能
向上的车轮1 小时前
Chaterm:AI 智能终端极简手册
人工智能
世优科技虚拟人1 小时前
从教室到校史馆讲解,AI数字人一体机打造全场景智慧校园助手
人工智能·科技·大模型·数字人
edisao1 小时前
《CV认知变异度模型:在系统规训中保留结构自由》
人工智能