神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
aneasystone本尊33 分钟前
学习 turbovec 的量化算法
人工智能
九酒11 小时前
AI Agent 开发踩坑记:口播功能非得用 APP 原生实现吗?
前端·人工智能·agent
蝎子莱莱爱打怪11 小时前
DSpark 讲透:DeepSeek 不换模型,硬把 V4 提速 85%,是怎么做到的?
人工智能·面试·程序员
巫山老妖12 小时前
置身AI内
人工智能
IT_陈寒14 小时前
JavaScript项目实战经验分享
前端·人工智能·后端
vanuan15 小时前
两个AI智能体第一次对话-A2A双Agent协作实战
人工智能
kfaino17 小时前
码农的AI翻身(四)你好,我叫 Attention
人工智能·后端
雨落Re19 小时前
如何设计一个高质量Skill
人工智能
Token炼金师19 小时前
大模型权重文件全指南:从格式选择到优化实战
人工智能
阿牛哥_GX19 小时前
CDP 浏览器操控原理:让脚本接管你的浏览器
人工智能