深度学习记录--计算图(前向后向传播)

什么是计算图?

从一个例子入手:

将函数J的计算用流程图表示出来,这样的流程图被称为计算图

简单来说,计算图是用来显示每个变量间的关系的一种图

两种传播方式

计算图有两种传播方式:前向传播 和 后向传播

什么是前向传播?

还是以函数为例,前向传播就是将计算函数J的值的每一个过程表示出来,类似分步计算

什么是后向传播?

后向传播就是从最后一个方框开始,逐步向前求最终输出变量 (FinalOutput Variable )对普通变量(variable )的导数,记为: ,在函数的例子中,最终输出变量是变量J的值,所以导数写为: ,在编程代码中,为了简便,通常将导数记作: ,当我们求出对所有普通变量的导数后,我们也就清楚了每个变量对于变化的影响程度,同时,这些导数也可以用来更新 变量(即梯度下降法),方便进行迭代计算

后向传播的计算方法

简要来说,就是求导

但是,我们可以利用链式法则 (chain rule)来简化计算

比如:当我们求完 之后,之后我们要求 ,可以进行拆分 ,拆分成: , 这样我们只需要求 ,并将上一次求出的 代入即可求出

同理之后每个导数都可以拆分成两个导数,进行简化运算

相关推荐
泯泷2 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我2 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁012 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn3 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄3 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下4 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码4 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下5 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩5 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek
FengY_HYY5 小时前
从人类组织到人类&大模型组织,我的位置在哪里?
人工智能·程序员·llm