每天五分钟深度学习:如何使用计算图来反向计算参数的导数?

本文重点

在上一个课程中,我们使用一个例子来计算函数J,也就相当于前向传播的过程,本节课程我们将学习如何使用计算图计算函数J的导数。相当于反向传播的过程。

计算J对v的导数,dJ/dv=3

计算J对a的导数,dJ/da=(dJ/dv)*(dv/da)=3*1=3

计算J对u的导数,dJ/du=(dJ/dv)*(dv/du)=3*1=3

计算J对b的导数,dJ/db=(dJ/dv)*(dv/du)*(du/db)=3*1*c=3c

因为本例中c=2,所以dJ/db=6

以上都是输出值J(最终变量J)对其它变量的导数,这里我们要引入一种新的符号,我们使用:

dv来表示dJ/dv

da来表示dJ/da

du来表示dJ/du

db来表示dJ/db

现在我们已经知道了输出J对其它变量的导数计算方法,核心就是从右往左按照计算图进行链式计算。

相关推荐
老金带你玩AI20 分钟前
别只让AI解释,让它做个你能看懂的东西
人工智能
iffy126 分钟前
Deepseek hardness 桌面版 + ollama
人工智能
Xiaofeng369335 分钟前
知漫剧入门科普:一站式工作台一句话生成漫剧
人工智能
“AI国潮设计-小江”40 分钟前
《Python+SDXL实战:用ControlNet精准控制“英歌舞翻糖吐司”构图,附批量生成脚本》
开发语言·人工智能·python·prompt·aigc
MobotStone1 小时前
万物皆插件:DeepSeek Harness 底层揭秘,脚手架如何蜕变为产品
人工智能
youdexiang2 小时前
Android录音软件时间关键词检索功能分析
java·人工智能
WUYOUGYLU2 小时前
大模型时代:人与智能的共同进化
人工智能
netkiller-BG7NYT2 小时前
基于图像识别的人工智能中医望诊方案
人工智能·百度
W***25922 小时前
Work Agent深度解读:AI长程任务的执行机制与落地形态
人工智能
能源革命2 小时前
Hermes Agent 常用命令速查表
人工智能