神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
AiTop10011 小时前
跨数据中心的创新:Moonshot AI与清华大学提出PrfaaS架构
人工智能·ai·架构
深藏功yu名11 小时前
大模型推理加速实战技术
人工智能·python·ai·pycharm
GISer_Jing11 小时前
AI时代前端开发者成长计划
前端·人工智能
Swilderrr11 小时前
学术研读报告:Mem0 面向生产级 AI 智能体的可扩展长期记忆架构
人工智能·学习
云烟成雨TD11 小时前
Spring AI Alibaba 1.x 系列【30】Nacos Skill Registry 的底层设计与实现
java·人工智能·spring
Zzj_tju11 小时前
大语言模型部署实战:从 Ollama、vLLM 到 SGLang,本地服务到底怎么搭?
人工智能·语言模型·自然语言处理·vllm
不会学习的小白O^O11 小时前
使用可识别的CNN进行茶花检测和拔出点识别
人工智能
byzy11 小时前
【论文笔记】Vehicle-to-Everything Cooperative Perception for Autonomous Driving
论文阅读·深度学习·计算机视觉·自动驾驶
CS创新实验室11 小时前
AI推理进化史:从GPT到推理模型,AI的“思考能力”如何突破?
人工智能·gpt
威迪斯特11 小时前
项目解决方案:食堂反浪费AI智能监督系统项目解决方案
人工智能·实时视频分析·算法分析·边缘分析·ai识别盒子·餐盘浪费检测·智能食堂