每天五分钟深度学习:如何使用计算图来反向计算参数的导数?

本文重点

在上一个课程中,我们使用一个例子来计算函数J,也就相当于前向传播的过程,本节课程我们将学习如何使用计算图计算函数J的导数。相当于反向传播的过程。

计算J对v的导数,dJ/dv=3

计算J对a的导数,dJ/da=(dJ/dv)*(dv/da)=3*1=3

计算J对u的导数,dJ/du=(dJ/dv)*(dv/du)=3*1=3

计算J对b的导数,dJ/db=(dJ/dv)*(dv/du)*(du/db)=3*1*c=3c

因为本例中c=2,所以dJ/db=6

以上都是输出值J(最终变量J)对其它变量的导数,这里我们要引入一种新的符号,我们使用:

dv来表示dJ/dv

da来表示dJ/da

du来表示dJ/du

db来表示dJ/db

现在我们已经知道了输出J对其它变量的导数计算方法,核心就是从右往左按照计算图进行链式计算。

相关推荐
诸神缄默不语1 小时前
备战 AI 出海 DAY 0:海外数据采集
大数据·人工智能
Ysn07193 小时前
YOLO-Master工程:experts.py 专家结构详解与目标检测专家设计启发
人工智能·yolo·目标检测
BingoGo3 小时前
使用 GPT-6 Astra 模型 请立刻更新你的 Skill 与提示词
人工智能
香菜+3 小时前
端侧视频分析 · 架构笔记
人工智能
s1ckrain3 小时前
【论文阅读】A Survey on Vision–Language–Action Models for Embodied AI
论文阅读·人工智能·多模态·具身智能
深圳雨林凯AI3 小时前
图案裂变的“风格归一化“设计思路:主体保得住,画风才拉得齐|雨林凯AI技术笔记
人工智能·笔记
DevNo3 小时前
英文会议转中文纪要,三款AI工具实测体验
人工智能
深小乐3 小时前
AI 说话越来越难懂?Anthropic 员工都在用 ELI5 这个图解 Skill
人工智能
问天_观心3 小时前
大模型微调学习(二)
人工智能·python·深度学习·学习·语言模型·transformer
甲维斯3 小时前
我要吹爆GPT6了!实测3列惊为天人!
人工智能