每天五分钟深度学习:如何使用计算图来反向计算参数的导数?

本文重点

在上一个课程中,我们使用一个例子来计算函数J,也就相当于前向传播的过程,本节课程我们将学习如何使用计算图计算函数J的导数。相当于反向传播的过程。

计算J对v的导数,dJ/dv=3

计算J对a的导数,dJ/da=(dJ/dv)*(dv/da)=3*1=3

计算J对u的导数,dJ/du=(dJ/dv)*(dv/du)=3*1=3

计算J对b的导数,dJ/db=(dJ/dv)*(dv/du)*(du/db)=3*1*c=3c

因为本例中c=2,所以dJ/db=6

以上都是输出值J(最终变量J)对其它变量的导数,这里我们要引入一种新的符号,我们使用:

dv来表示dJ/dv

da来表示dJ/da

du来表示dJ/du

db来表示dJ/db

现在我们已经知道了输出J对其它变量的导数计算方法,核心就是从右往左按照计算图进行链式计算。

相关推荐
Up九五小庞2 分钟前
本地部署 + Docker 容器化实战:中医舌诊 AI 项目 TongueDiagnosis 部署全记录-九五小庞
人工智能
John_ToDebug24 分钟前
2025年度个人总结:在技术深海中锚定价值,于时代浪潮中重塑自我
人工智能·程序人生
自可乐35 分钟前
n8n全面学习教程:从入门到精通的自动化工作流引擎实践指南
运维·人工智能·学习·自动化
king of code porter39 分钟前
百宝箱企业版搭建智能体应用-创建应用
人工智能·大模型·智能体
HDO清风44 分钟前
CASIA-HWDB2.x 数据集DGRL文件解析(python)
开发语言·人工智能·pytorch·python·目标检测·计算机视觉·restful
策知道1 小时前
依托政府工作报告准备省考【经验贴】
大数据·数据库·人工智能·搜索引擎·政务
小Tomkk1 小时前
PyTorch +YOLO + Label Studio + 图像识别 深度学习项目实战 (二)
pytorch·深度学习·yolo
纠结哥_Shrek1 小时前
外贸选品工程师的工作流程和方法论
python·机器学习
工程师老罗1 小时前
Pytorch如何加载和读取VOC数据集用来做目标检测?
人工智能·pytorch·目标检测
测试_AI_一辰1 小时前
Agent & RAG 测试工程05:把 RAG 的检索过程跑清楚:chunk 是什么、怎么来的、怎么被命中的
开发语言·人工智能·功能测试·自动化·ai编程