神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
一江寒逸10 分钟前
人工智能的“记忆灵魂”:深度拆解大模型时代的上下文技术体系、实战与未来
人工智能
开放知识图谱15 分钟前
论文浅尝 | 图形约束推理:基于大型语言模型在知识图谱上的可信推理(ICML2025)
人工智能·语言模型·自然语言处理·知识图谱
游了个戏16 分钟前
微信小游戏 vs QQ小游戏:表面是兄弟,骨子里是两套完全不同的玩法
人工智能·游戏·微信
人工智能AI技术21 分钟前
人工智能发展简史:关键节点与技术突破
人工智能
爱写代码的小朋友28 分钟前
人工智能赋能下的基础教育课堂评价体系重构——从单一分数到核心素养的多维评估
人工智能·课堂教学
杜稀饭30 分钟前
告别 HDR 调参玄学:AI 辅助 HDR 融合怎么落地
人工智能
keira67433 分钟前
AI agent是什么
人工智能
刘~浪地球33 分钟前
当AI开始“理财“:智能投顾是帮你赚钱还是割韭菜?
人工智能·python·机器学习
XmasWu122535 分钟前
【Hermes Agent场景】数据分析师的瑞士军刀
人工智能
黎阳之光38 分钟前
黎阳之光:全域实景立体管控,重构智慧电厂与变电站数字孪生新范式
大数据·人工智能·算法·安全·数字孪生