每天五分钟深度学习:如何使用计算图来反向计算参数的导数?

本文重点

在上一个课程中,我们使用一个例子来计算函数J,也就相当于前向传播的过程,本节课程我们将学习如何使用计算图计算函数J的导数。相当于反向传播的过程。

计算J对v的导数,dJ/dv=3

计算J对a的导数,dJ/da=(dJ/dv)*(dv/da)=3*1=3

计算J对u的导数,dJ/du=(dJ/dv)*(dv/du)=3*1=3

计算J对b的导数,dJ/db=(dJ/dv)*(dv/du)*(du/db)=3*1*c=3c

因为本例中c=2,所以dJ/db=6

以上都是输出值J(最终变量J)对其它变量的导数,这里我们要引入一种新的符号,我们使用:

dv来表示dJ/dv

da来表示dJ/da

du来表示dJ/du

db来表示dJ/db

现在我们已经知道了输出J对其它变量的导数计算方法,核心就是从右往左按照计算图进行链式计算。

相关推荐
蜡笔小新星1 分钟前
机器学习和深度学习的区别
开发语言·人工智能·经验分享·深度学习·学习·机器学习
风之飘渺9 分钟前
Qwen2-VL的微调及量化
人工智能·语言模型
冷眼看人间恩怨1 小时前
【话题讨论】AI时代程序员核心力:技术深耕,跨界学习,软硬兼备
人工智能·学习·aigc
智能涌现1 小时前
利基网站收入报告(更新至十月)
人工智能·语言模型·自然语言处理·chatgpt
csdnzzt1 小时前
一文入门生成式AI(理解ChatGPT的原理)
人工智能·chatgpt
TechQuester2 小时前
OpenAI 刚刚推出 o1 大模型!!突破LLM极限
人工智能·python·gpt·算法·chatgpt
jndingxin2 小时前
OpenCV结构分析与形状描述符(19)查找二维点集的最小面积外接旋转矩形函数minAreaRect()的使用
人工智能·opencv·计算机视觉
AI in Bio2 小时前
预训练蛋白质语言模型ESM-2保姆级使用教程
人工智能·语言模型
成都古河云2 小时前
智慧园区:解析集成运维的未来之路
大数据·运维·人工智能·科技·5g·安全
nfgo2 小时前
机器学习VS深度学习
机器学习