神经网络基础

1.反向传播(这边推荐买鱼书)补充:反向传播就是求偏导

(1)加法门单元:均等分配

z=x+y

z对x求偏导:得到1

z对y求偏导:得到1

也就是均等分配

(2)MAX门单元:给最大的

(3)乘法门单元:互换

z=xy
z对x求偏导:得到y
z对y求偏导:得到x

绿色是前向传播:
输入x=3 , y=-4 ,通过乘法门单元,得到x
y=-12。

输入x=2 , y=0 ,通过max门单元,得到结果2。

-12+2=-10 ,-10*2=-20.

红色是反向传播:

输入1,12=2 ,如何加法门单元求偏导,所以上下都是2
然后2
3=6 ,乘法门单元进行互换。

然后2*(-4)=-8门单元。

2通过max门单元,给原本绿色值比较大的z, 所以z=2;所以w=0.

2.


相关推荐
aneasystone本尊几秒前
详解 Chat2Graph 的工作流实现
人工智能
Monkey的自我迭代7 分钟前
opencv特征检测
人工智能·opencv·计算机视觉
六月的可乐17 分钟前
Vue3项目中集成AI对话功能的实战经验分享
前端·人工智能·openai
极造数字20 分钟前
MES系统在不同制造行业中的应用差异与共性
大数据·人工智能·物联网·信息可视化·制造
信息快讯23 分钟前
【智能融合:增材制造多物理场AI建模与工业应用实战】
人工智能·制造
joan_8524 分钟前
jquery在文心智能体平台使用API方式部署智能体-AI客服
前端·人工智能·ai·jquery
Baihai_IDP40 分钟前
2025 年大语言模型架构演进:DeepSeek V3、OLMo 2、Gemma 3 与 Mistral 3.1 核心技术剖析
人工智能·llm·aigc
理智的煎蛋1 小时前
GPU 服务器压力测试核心工具全解析:gpu-burn、cpu-burn 与 CUDA Samples
运维·服务器·人工智能·压力测试·gpu算力
陈敬雷-充电了么-CEO兼CTO1 小时前
视频理解新纪元!VideoChat双模架构突破视频对话瓶颈,开启多模态交互智能时代
人工智能·chatgpt·大模型·多模态·世界模型·kimi·deepseek
simodai1 小时前
机器学习1.Anaconda安装+环境配置
人工智能·机器学习