神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
大任视点4 分钟前
从云经济学之父,到人工智能经济学奠基人
大数据·人工智能·业界资讯
光锥智能6 分钟前
库克“谢幕”,苹果AI“起航”?|苹果2026WWDC
人工智能
Mr.朱鹏8 分钟前
科技资讯日报 · 2026-06-08
人工智能·科技·chatgpt
ai产品老杨8 分钟前
【架构深评】打破多品牌壁垒:如何基于 GB28181 与 RTSP 栈,构建高解耦的 AI 视频流媒体管理平台?(附源码交付)
人工智能·架构·媒体
小丶舟10 分钟前
6GB显卡本地AI效率提升实战:Ollama服务化+API调用+成本对比
人工智能
小龙报12 分钟前
【AI全栈开发】一文打通AI时代的前后端开发核心概念
人工智能
AI探索先锋14 分钟前
[特殊字符] Siri AI 炸场 WWDC!苹果联手谷歌 Gemini 打造“真·AI助手“,13人公司掀翻Transformer|AI科技热线
人工智能·transformer·wwdc
jinxindeep16 分钟前
超越VLA与世界模型:构建下一代物理智能系统的四大支柱
人工智能
L_Jason先生18 分钟前
给 AI 一张地图,而不是一本手册——AGENTS.md 内容策略完全指南
人工智能
珠***格21 分钟前
Ⅱ型边缘网关|易部署、易扩容、易改造
大数据·人工智能·分布式·能源·边缘计算