每天五分钟深度学习:如何使用计算图来反向计算参数的导数?

本文重点

在上一个课程中,我们使用一个例子来计算函数J,也就相当于前向传播的过程,本节课程我们将学习如何使用计算图计算函数J的导数。相当于反向传播的过程。

计算J对v的导数,dJ/dv=3

计算J对a的导数,dJ/da=(dJ/dv)*(dv/da)=3*1=3

计算J对u的导数,dJ/du=(dJ/dv)*(dv/du)=3*1=3

计算J对b的导数,dJ/db=(dJ/dv)*(dv/du)*(du/db)=3*1*c=3c

因为本例中c=2,所以dJ/db=6

以上都是输出值J(最终变量J)对其它变量的导数,这里我们要引入一种新的符号,我们使用:

dv来表示dJ/dv

da来表示dJ/da

du来表示dJ/du

db来表示dJ/db

现在我们已经知道了输出J对其它变量的导数计算方法,核心就是从右往左按照计算图进行链式计算。

相关推荐
咕噜企业分发小米1 分钟前
阿里云和华为云AI教育产品有哪些创新功能?
人工智能·阿里云·华为云
DeepVis Research5 分钟前
【BCI/Consensus】2026年度脑机接口协同与分布式共识机制基准索引 (Benchmark Index)
人工智能·网络安全·数据集·脑机接口·分布式系统
cyyt5 分钟前
深度学习周报(25.12.29~26.1.4)
人工智能·深度学习
自不量力的A同学7 分钟前
Resemble AI 发布开源语音合成模型 Chatterbox Turbo
人工智能
Master_oid7 分钟前
机器学习28:增强式学习(Deep Reinforcement Learn)③
人工智能·学习·机器学习
PS12323210 分钟前
港口机械安全运行 风速监测技术守护物流畅通
人工智能
万俟淋曦10 分钟前
【论文速递】2025年第51周(Dec-14-20)(Robotics/Embodied AI/LLM)
人工智能·深度学习·机器人·大模型·论文·robotics·具身智能
汗流浃背了吧,老弟!11 分钟前
基于 BERT 的指令微调
人工智能·深度学习·bert
Jerryhut14 分钟前
Opencv总结8——停车场项目实战
人工智能·opencv·计算机视觉
WWZZ202515 分钟前
SLAM进阶——数据集
人工智能·计算机视觉·机器人·大模型·slam·具身智能