每天五分钟深度学习:如何使用计算图来反向计算参数的导数?

本文重点

在上一个课程中,我们使用一个例子来计算函数J,也就相当于前向传播的过程,本节课程我们将学习如何使用计算图计算函数J的导数。相当于反向传播的过程。

计算J对v的导数,dJ/dv=3

计算J对a的导数,dJ/da=(dJ/dv)*(dv/da)=3*1=3

计算J对u的导数,dJ/du=(dJ/dv)*(dv/du)=3*1=3

计算J对b的导数,dJ/db=(dJ/dv)*(dv/du)*(du/db)=3*1*c=3c

因为本例中c=2,所以dJ/db=6

以上都是输出值J(最终变量J)对其它变量的导数,这里我们要引入一种新的符号,我们使用:

dv来表示dJ/dv

da来表示dJ/da

du来表示dJ/du

db来表示dJ/db

现在我们已经知道了输出J对其它变量的导数计算方法,核心就是从右往左按照计算图进行链式计算。

相关推荐
TImCheng06099 分钟前
方法论:将AI深度嵌入工作流的“场景-工具-SOP”三步法
大数据·人工智能
geneculture11 分钟前
四维矩阵分析:人机互助超级个体与超级OPC关系研究——基于HI×AI、个体×团队、个体×OPC与波士顿矩阵的整合框架
人工智能·百度
智算菩萨20 分钟前
2026年春节后,AI大模型格局彻底变了——Claude 4.6、GPT-5.2与六大国产模型全面横评
人工智能·gpt·ai编程
DeepModel1 小时前
【回归算法】Ridge回归详解
深度学习·机器学习·回归算法
狮子座明仔1 小时前
Agent World Model:给智能体造一个“矩阵世界“——无限合成环境驱动的强化学习
人工智能·线性代数·语言模型·矩阵
OpenMiniServer1 小时前
AI 大模型的本质:基于大数据的拟合,而非创造
大数据·人工智能
SmartBrain1 小时前
FastAPI实战(第二部分):用户注册接口开发详解
数据库·人工智能·python·fastapi
星爷AG I1 小时前
12-6 心理理论(AGI基础理论)
人工智能·agi
向哆哆1 小时前
102类农业害虫图像识别数据集:智慧农业与精准防控的高质量资源
人工智能
lisw051 小时前
云原生技术概述!
人工智能·机器学习·云原生