机器学习&&深度学习——向量求导问题

👨‍🎓作者简介:一位即将上大四,正专攻机器学习的保研er

🌌上期文章:机器学习&&深度学习------图像分类数据集

📚订阅专栏:机器学习&&深度学习

希望文章对你们有所帮助

这篇文章的本意还是再一次复盘一下向量求导问题,很多时候的例子都直接推着就过去了,但是重新遇到总会卡壳一会,因为向量求导问题会分多种情况,所以我们在这里特意做个理解与总结。

向量求导问题

标量对列向量求导

已知列向量x:
x = [ x 1 , x 2 , . . . , x n ] T x=[x_1,x_2,...,x_n]^T x=[x1,x2,...,xn]T

将标量y对x进行求导,得到:
∂ y ∂ x = [ ∂ y ∂ x 1 , ∂ y ∂ x 2 , . . . , ∂ y ∂ x n ] \frac{\partial y}{\partial x}=[\frac{\partial y}{\partial x_1},\frac{\partial y}{\partial x_2},...,\frac{\partial y}{\partial x_n}] ∂x∂y=[∂x1∂y,∂x2∂y,...,∂xn∂y]

明明也就只有这么一个输出,而行表示输出,当然就是只有一行,而每列就代表每个偏导。

比如:对||x||2求导:
∂ y ∂ x = 2 x T \frac{\partial y}{\partial x}=2x^T ∂x∂y=2xT

或者y对<u,v>这个点积进行求导,u、v是关于x的向量,则:
∂ y ∂ x = u T ∂ v ∂ x + v T ∂ u ∂ x \frac{\partial y}{\partial x}=u^T\frac{\partial v}{\partial x}+v^T\frac{\partial u}{\partial x} ∂x∂y=uT∂x∂v+vT∂x∂u

列向量对标量求导

已知y是列向量,x是标量,那么y对x求导依旧是列向量。

毕竟y是列向量就已经说明了其具有多个输出,自然需要保证导数以后,输出的量依旧为那么多。

两个向量求导

这边要讲一下分子布局和分母布局的意义:

1、分子布局:分子为列向量,分母为行向量

2、分母布局:分子为行向量,分母为列向量

按照之前的想法来看,向量对向量求导,那么就先将y的每一行都对x求导,最后把每行的x拓展成多列的行向量,最终会得到一个矩阵。

例如:
∂ x T A ∂ x = A T \frac{\partial x^TA}{\partial x}=A^T ∂x∂xTA=AT

我们的输入也可以拓展到矩阵,原理都一样

向量链式法则

我们从标量链式法则:
y = f ( u ) , u = g ( x ) 则 ∂ y ∂ x = ∂ y ∂ u ∂ u ∂ x y=f(u),u=g(x)则\frac{\partial y}{\partial x}=\frac{\partial y}{\partial u}\frac{\partial u}{\partial x} y=f(u),u=g(x)则∂x∂y=∂u∂y∂x∂u

拓展到向量:

自动求导

计算图

将代码分解为操作子,将计算表示成一个无环图

自动求导的原理

首先,有两种求导的方式,一种是从x开始求导,叫做正向累积,一种是从最上面的根结点开始向下求导,叫做反向累积也叫做反向传递。我们通常用反向累积

1、构造计算图

2、前向:执行图,存储中间结果(如下图b=a-y,a=<x,w>)

3、反向:从相反方向执行图(要去除不需要的枝)

正向累积和反向累积的对比

对于我们常用的反向累积,他的计算复杂度是O(n),而内存复杂度是O(n) ,毕竟前向要走一遍来存储各个中间结果,所以需要耗费内存复杂度(这也就是为什么深度学习非常耗费GPU)。

而正向累积,计算复杂度是O(n),而内存复杂度是O(1),根本不需要存储中间结果,由下往上逐个求导即可。但是正向累积一般不使用,因为每次计算梯度都要扫一遍。

相关推荐
深蓝学院4 分钟前
闭环SOTA!北航DiffAD:基于扩散模型实现端到端自动驾驶「多任务闭环统一」
人工智能·机器学习·自动驾驶
jimmyleeee10 分钟前
人工智能基础知识笔记七:随机变量的几种分布
人工智能·笔记·概率论
仙人掌_lz13 分钟前
机器学习ML极简指南
人工智能·python·算法·机器学习·面试·强化学习
船长@Quant14 分钟前
PyTorch量化进阶教程:第六章 模型部署与生产化
pytorch·python·深度学习·transformer·量化交易·sklearn·ta-lib
weixin_4352081630 分钟前
论文浅尝 | Interactive-KBQA:基于大语言模型的多轮交互KBQA(ACL2024)
人工智能·语言模型·自然语言处理
碣石潇湘无限路40 分钟前
【奇点时刻】GPT-4o新生图特性深度洞察报告
人工智能·经验分享·chatgpt·gpt4o·新生图特性
深眸财经1 小时前
从商汤科技年报,看一家AI企业的确定性叙事
人工智能·科技·百度
I'mFAN1 小时前
QT_xcb 问题
人工智能·python·opencv·计算机视觉
赋创小助手1 小时前
Gartner预计2025年AI支出达6440亿美元:数据中心与服务器市场的关键驱动与挑战
运维·服务器·人工智能·科技·架构