每天五分钟深度学习:如何使用计算图来反向计算参数的导数?

本文重点

在上一个课程中,我们使用一个例子来计算函数J,也就相当于前向传播的过程,本节课程我们将学习如何使用计算图计算函数J的导数。相当于反向传播的过程。

计算J对v的导数,dJ/dv=3

计算J对a的导数,dJ/da=(dJ/dv)*(dv/da)=3*1=3

计算J对u的导数,dJ/du=(dJ/dv)*(dv/du)=3*1=3

计算J对b的导数,dJ/db=(dJ/dv)*(dv/du)*(du/db)=3*1*c=3c

因为本例中c=2,所以dJ/db=6

以上都是输出值J(最终变量J)对其它变量的导数,这里我们要引入一种新的符号,我们使用:

dv来表示dJ/dv

da来表示dJ/da

du来表示dJ/du

db来表示dJ/db

现在我们已经知道了输出J对其它变量的导数计算方法,核心就是从右往左按照计算图进行链式计算。

相关推荐
用户579854769713 分钟前
03:多 LLM 提供商统一接入:Provider 模式与 LiteLLM 实践
人工智能
kjmkq9 分钟前
香港领先GEO服务商 XOOER 专注GEO/AEO赋能品牌全球扩张
人工智能
陈天伟教授14 分钟前
人工智能应用- 材料微观:01. 微观结构的重要性
人工智能·神经网络·算法·机器学习·推荐算法
聊聊科技15 分钟前
用清唱歌词音频来创作,原创音乐人通过AI编曲软件快速制作歌曲的编曲伴奏
人工智能
盲盒Q15 分钟前
《内存之茧》
数据结构·人工智能·ruby
狮子座明仔18 分钟前
REDSearcher:如何用30B参数的小模型,在深度搜索上击败GPT-o3和Gemini?
人工智能·gpt·深度学习·microsoft·语言模型·自然语言处理
沪漂阿龙21 分钟前
从Chatbot到Agent:核心能力、工作原理与实战解析
人工智能
石去皿28 分钟前
Token及模型参数准备篇——预训练数据去重、SFT数据量估算与正则化策略全解析
人工智能
聊聊科技41 分钟前
清唱一遍歌词即可制作完整歌曲的编曲伴奏,原创音乐人借助AI编曲软件轻松出歌
人工智能
大模型任我行1 小时前
华为:CLI任务自动生成新范式
人工智能·语言模型·自然语言处理·论文笔记