机器学习&&深度学习——向量求导问题

👨‍🎓作者简介:一位即将上大四,正专攻机器学习的保研er

🌌上期文章:机器学习&&深度学习------图像分类数据集

📚订阅专栏:机器学习&&深度学习

希望文章对你们有所帮助

这篇文章的本意还是再一次复盘一下向量求导问题,很多时候的例子都直接推着就过去了,但是重新遇到总会卡壳一会,因为向量求导问题会分多种情况,所以我们在这里特意做个理解与总结。

向量求导问题

标量对列向量求导

已知列向量x:
x = [ x 1 , x 2 , . . . , x n ] T x=[x_1,x_2,...,x_n]^T x=[x1,x2,...,xn]T

将标量y对x进行求导,得到:
∂ y ∂ x = [ ∂ y ∂ x 1 , ∂ y ∂ x 2 , . . . , ∂ y ∂ x n ] \frac{\partial y}{\partial x}=[\frac{\partial y}{\partial x_1},\frac{\partial y}{\partial x_2},...,\frac{\partial y}{\partial x_n}] ∂x∂y=[∂x1∂y,∂x2∂y,...,∂xn∂y]

明明也就只有这么一个输出,而行表示输出,当然就是只有一行,而每列就代表每个偏导。

比如:对||x||2求导:
∂ y ∂ x = 2 x T \frac{\partial y}{\partial x}=2x^T ∂x∂y=2xT

或者y对<u,v>这个点积进行求导,u、v是关于x的向量,则:
∂ y ∂ x = u T ∂ v ∂ x + v T ∂ u ∂ x \frac{\partial y}{\partial x}=u^T\frac{\partial v}{\partial x}+v^T\frac{\partial u}{\partial x} ∂x∂y=uT∂x∂v+vT∂x∂u

列向量对标量求导

已知y是列向量,x是标量,那么y对x求导依旧是列向量。

毕竟y是列向量就已经说明了其具有多个输出,自然需要保证导数以后,输出的量依旧为那么多。

两个向量求导

这边要讲一下分子布局和分母布局的意义:

1、分子布局:分子为列向量,分母为行向量

2、分母布局:分子为行向量,分母为列向量

按照之前的想法来看,向量对向量求导,那么就先将y的每一行都对x求导,最后把每行的x拓展成多列的行向量,最终会得到一个矩阵。

例如:
∂ x T A ∂ x = A T \frac{\partial x^TA}{\partial x}=A^T ∂x∂xTA=AT

我们的输入也可以拓展到矩阵,原理都一样

向量链式法则

我们从标量链式法则:
y = f ( u ) , u = g ( x ) 则 ∂ y ∂ x = ∂ y ∂ u ∂ u ∂ x y=f(u),u=g(x)则\frac{\partial y}{\partial x}=\frac{\partial y}{\partial u}\frac{\partial u}{\partial x} y=f(u),u=g(x)则∂x∂y=∂u∂y∂x∂u

拓展到向量:

自动求导

计算图

将代码分解为操作子,将计算表示成一个无环图

自动求导的原理

首先,有两种求导的方式,一种是从x开始求导,叫做正向累积,一种是从最上面的根结点开始向下求导,叫做反向累积也叫做反向传递。我们通常用反向累积

1、构造计算图

2、前向:执行图,存储中间结果(如下图b=a-y,a=<x,w>)

3、反向:从相反方向执行图(要去除不需要的枝)

正向累积和反向累积的对比

对于我们常用的反向累积,他的计算复杂度是O(n),而内存复杂度是O(n) ,毕竟前向要走一遍来存储各个中间结果,所以需要耗费内存复杂度(这也就是为什么深度学习非常耗费GPU)。

而正向累积,计算复杂度是O(n),而内存复杂度是O(1),根本不需要存储中间结果,由下往上逐个求导即可。但是正向累积一般不使用,因为每次计算梯度都要扫一遍。

相关推荐
杭州默安科技9 分钟前
大模型AI Agent的工作原理与安全挑战
人工智能·安全
bug404_9 分钟前
jetson orin nano super AI模型部署之路(三)stable diffusion部署
人工智能·stable diffusion
Qiming_v10 分钟前
如何使用stable diffusion 3获得最佳效果
人工智能·stable diffusion
liruiqiang0529 分钟前
循环神经网络 - 通用近似定理 & 图灵完备
人工智能·rnn·深度学习·神经网络·机器学习
Panesle44 分钟前
广告推荐算法:COSMO算法与A9算法的对比
人工智能·算法·机器学习·推荐算法·广告推荐
hunteritself1 小时前
DeepSeek重磅升级,豆包深度思考,ChatGPT原生生图,谷歌Gemini 2.5 Pro!| AI Weekly 3.24-3.30
人工智能·深度学习·chatgpt·开源·语音识别·deepseek
Panesle1 小时前
transformer架构与其它架构对比
人工智能·深度学习·transformer
dundunmm2 小时前
【论文阅读】Self-Correcting Clustering
论文阅读·深度学习·数据挖掘·聚类
我有医保我先冲2 小时前
AI大模型与人工智能的深度融合:重构医药行业数字化转型的底层逻辑
人工智能·重构