深度学习记录--计算图(前向后向传播)

什么是计算图?

从一个例子入手:

将函数J的计算用流程图表示出来,这样的流程图被称为计算图

简单来说,计算图是用来显示每个变量间的关系的一种图

两种传播方式

计算图有两种传播方式:前向传播后向传播

什么是前向传播?

还是以函数为例,前向传播就是将计算函数J的值的每一个过程表示出来,类似分步计算

什么是后向传播?

后向传播就是从最后一个方框开始,逐步向前求最终输出变量 (FinalOutput Variable )对普通变量(variable )的导数,记为: ,在函数的例子中,最终输出变量是变量J的值,所以导数写为: ,在编程代码中,为了简便,通常将导数记作: ,当我们求出对所有普通变量的导数后,我们也就清楚了每个变量对于变化的影响程度,同时,这些导数也可以用来更新 变量(即梯度下降法),方便进行迭代计算

后向传播的计算方法

简要来说,就是求导

但是,我们可以利用链式法则 (chain rule)来简化计算

比如:当我们求完 之后,之后我们要求 ,可以进行拆分 ,拆分成: , 这样我们只需要求 ,并将上一次求出的 代入即可求出

同理之后每个导数都可以拆分成两个导数,进行简化运算

相关推荐
腾讯云开发者9 分钟前
腾讯云TVP走进美的,共探智能制造新范式
人工智能
一水鉴天10 分钟前
整体设计 逻辑系统程序 之34七层网络的中台架构设计及链路对应讨论(含 CFR 规则与理 / 事代理界定)
人工智能·算法·公共逻辑
我星期八休息16 分钟前
C++智能指针全面解析:原理、使用场景与最佳实践
java·大数据·开发语言·jvm·c++·人工智能·python
ECT-OS-JiuHuaShan21 分钟前
《元推理框架技术白皮书》,人工智能领域的“杂交水稻“
人工智能·aigc·学习方法·量子计算·空间计算
minhuan25 分钟前
构建AI智能体:六十八、集成学习:从三个臭皮匠到AI集体智慧的深度解析
人工智能·机器学习·adaboost·集成学习·bagging
java1234_小锋39 分钟前
TensorFlow2 Python深度学习 - 循环神经网络(SimpleRNN)示例
python·深度学习·tensorflow·tensorflow2
java1234_小锋40 分钟前
TensorFlow2 Python深度学习 - 通俗理解池化层,卷积层以及全连接层
python·深度学习·tensorflow·tensorflow2
ssshooter43 分钟前
MCP 服务 Streamable HTTP 和 SSE 的区别
人工智能·面试·程序员
rengang661 小时前
软件工程新纪元:AI协同编程架构师的修养与使命
人工智能·软件工程·ai编程·ai协同编程架构师
IT_陈寒1 小时前
Python+AI实战:用LangChain构建智能问答系统的5个核心技巧
前端·人工智能·后端