深度学习记录--计算图(前向后向传播)

什么是计算图?

从一个例子入手:

将函数J的计算用流程图表示出来,这样的流程图被称为计算图

简单来说,计算图是用来显示每个变量间的关系的一种图

两种传播方式

计算图有两种传播方式:前向传播后向传播

什么是前向传播?

还是以函数为例,前向传播就是将计算函数J的值的每一个过程表示出来,类似分步计算

什么是后向传播?

后向传播就是从最后一个方框开始,逐步向前求最终输出变量 (FinalOutput Variable )对普通变量(variable )的导数,记为: ,在函数的例子中,最终输出变量是变量J的值,所以导数写为: ,在编程代码中,为了简便,通常将导数记作: ,当我们求出对所有普通变量的导数后,我们也就清楚了每个变量对于变化的影响程度,同时,这些导数也可以用来更新 变量(即梯度下降法),方便进行迭代计算

后向传播的计算方法

简要来说,就是求导

但是,我们可以利用链式法则 (chain rule)来简化计算

比如:当我们求完 之后,之后我们要求 ,可以进行拆分 ,拆分成: , 这样我们只需要求 ,并将上一次求出的 代入即可求出

同理之后每个导数都可以拆分成两个导数,进行简化运算

相关推荐
有颜有货10 分钟前
2025汽车制造企业数字化转型路径参考
人工智能·汽车·制造·数字化转型
阿星AI工作室13 分钟前
小白也能用AI开发「小红书自动归档多维表格」采集神器,躺平整理笔记真香
人工智能
云天徽上14 分钟前
【数据可视化-42】杂货库存数据集可视化分析
人工智能·机器学习·信息可视化·数据挖掘·数据分析
大模型真好玩17 分钟前
初学者必看大模型微调指南:Unsloth官方微调技巧大公开!
人工智能·python
自由随风飘25 分钟前
机器学习第三篇 模型评估(交叉验证)
人工智能·机器学习
vocal25 分钟前
谷歌第七版Prompt Engineering—第三部分
人工智能·后端
ConardLi35 分钟前
要给大家泼盆冷水了,使用 MCP 绝对不容忽视的一个问题!
前端·人工智能·后端
阿里云大数据AI技术39 分钟前
PAI Model Gallery 支持云上一键部署 Qwen3 全尺寸模型
人工智能·llm
烟锁池塘柳040 分钟前
【计算机视觉】Bayer Pattern与Demosaic算法详解:从传感器原始数据到彩色图像
人工智能·深度学习·计算机视觉
科技小E1 小时前
EasyRTC嵌入式音视频通信SDK智能安防与监控系统的全方位升级解决方案
大数据·网络·人工智能·音视频