每天五分钟深度学习:如何使用计算图来反向计算参数的导数?

本文重点

在上一个课程中,我们使用一个例子来计算函数J,也就相当于前向传播的过程,本节课程我们将学习如何使用计算图计算函数J的导数。相当于反向传播的过程。

计算J对v的导数,dJ/dv=3

计算J对a的导数,dJ/da=(dJ/dv)*(dv/da)=3*1=3

计算J对u的导数,dJ/du=(dJ/dv)*(dv/du)=3*1=3

计算J对b的导数,dJ/db=(dJ/dv)*(dv/du)*(du/db)=3*1*c=3c

因为本例中c=2,所以dJ/db=6

以上都是输出值J(最终变量J)对其它变量的导数,这里我们要引入一种新的符号,我们使用:

dv来表示dJ/dv

da来表示dJ/da

du来表示dJ/du

db来表示dJ/db

现在我们已经知道了输出J对其它变量的导数计算方法,核心就是从右往左按照计算图进行链式计算。

相关推荐
I Promise3425 分钟前
BEV视角智驾方案全维度发展梳理
人工智能·算法·计算机视觉
woshikejiaih28 分钟前
2026年阅读软件Top5避坑攻略:告别卡顿闪退提升沉浸感
人工智能·python
KG_LLM图谱增强大模型34 分钟前
SCHEMA-MINERpro:基于智能体AI的本体映射框架——在人机协作工作流中通过大模型发现科学新模式
数据库·人工智能
小草cys43 分钟前
opencode/claude code自动写书啦
人工智能·自动化·大模型
MoonOutCloudBack1 小时前
VeRL 框架 RL 微调大语言模型,algorithm.use_pf_ppo 参数详解
人工智能·机器学习·语言模型·自然语言处理
hhzz2 小时前
【Vision人工智能设计 】Wan(万相) 内容创作平台与能力
人工智能·阿里·视觉大模型·wan·万相
黑巧克力可减脂2 小时前
Vibe Coding重构CRM:以AI编程之术,破传统管理之困,承革新致远之道
人工智能·重构·软件工程·ai编程
wuxi_joe2 小时前
工业信息化与AI:制造业配置能力的重构
人工智能·重构
heimeiyingwang2 小时前
从 0 到 1:企业 AI 战略规划与落地路线图
大数据·人工智能
新缸中之脑2 小时前
让AI代理演示他们的工作
人工智能