深度学习记录--计算图(前向后向传播)

什么是计算图?

从一个例子入手:

将函数J的计算用流程图表示出来,这样的流程图被称为计算图

简单来说,计算图是用来显示每个变量间的关系的一种图

两种传播方式

计算图有两种传播方式:前向传播后向传播

什么是前向传播?

还是以函数为例,前向传播就是将计算函数J的值的每一个过程表示出来,类似分步计算

什么是后向传播?

后向传播就是从最后一个方框开始,逐步向前求最终输出变量 (FinalOutput Variable )对普通变量(variable )的导数,记为: ,在函数的例子中,最终输出变量是变量J的值,所以导数写为: ,在编程代码中,为了简便,通常将导数记作: ,当我们求出对所有普通变量的导数后,我们也就清楚了每个变量对于变化的影响程度,同时,这些导数也可以用来更新 变量(即梯度下降法),方便进行迭代计算

后向传播的计算方法

简要来说,就是求导

但是,我们可以利用链式法则 (chain rule)来简化计算

比如:当我们求完 之后,之后我们要求 ,可以进行拆分 ,拆分成: , 这样我们只需要求 ,并将上一次求出的 代入即可求出

同理之后每个导数都可以拆分成两个导数,进行简化运算

相关推荐
IT_陈寒9 分钟前
Redis性能提升50%的7个关键优化策略,90%开发者都不知道第5点!
前端·人工智能·后端
乐迪信息16 分钟前
乐迪信息:AI摄像机在智慧煤矿人员安全与行为识别中的技术应用
大数据·人工智能·算法·安全·视觉检测
AI人工智能+16 分钟前
炫光活体检测技术:通过光学技术实现高效、安全的身份验证,有效防御多种伪造手段。
人工智能·深度学习·人脸识别·活体检测
咔咔一顿操作26 分钟前
第七章 Cesium 3D 粒子烟花效果案例解析:从原理到完整代码
人工智能·3d·信息可视化·cesium
微三云-轩37 分钟前
区块链:重构企业数字化的信任核心与创新动力
人工智能·小程序·区块链·生活·我店
君名余曰正则38 分钟前
机器学习04——决策树(信息增益、信息增益率、ID3、C4.5、CART、剪枝、连续值缺失值处理)
人工智能·决策树·机器学习
中电金信39 分钟前
中电金信:AI重构测试体系·智能化时代的软件工程新范式
人工智能·重构·软件工程
多恩Stone44 分钟前
【3DV 进阶-2】Hunyuan3D2.1 训练代码详细理解下-数据读取流程
人工智能·python·算法·3d·aigc
lypzcgf1 小时前
Coze源码分析-资源库-删除插件-后端源码-错误处理与总结
人工智能·后端·go·coze·coze源码分析·ai应用平台·agent平台
AIGC小火龙果1 小时前
OpenAI的开源王牌:gpt-oss上手指南与深度解析
人工智能·经验分享·gpt·搜索引擎·aigc·ai编程