深度学习之微积分预备知识点

极限(Limit)

  • 定义 :表示某一点处函数趋近于某一特定值的过程,一般记为

极限是一种变化状态的描述,核心思想是无限靠近而永远不能到达

  • 公式 表示 x 趋向 a 时 f(x) 的极限。
知识点 口诀 解释
极限的存在 左右极限需相等 左极限等于右极限,极限才存在
极限求值 小数接近分母带 分子分母消掉无关,最后代入极限值
无限极限 无穷大趋向无穷多 x 趋向无穷大时,函数会无界
常数极限 常数极限还是常 常数不随 x 变化,其极限为常数本身

总结

  • 极限是"左等于右",常数不变小数带。

导数(Derivative)

  • 定义:函数的局部性质,导数表示函数变化率,即在某一点的斜率。

对函数y = f(x)来说,其导数可以用符号f'(x)来表示。也可记为

  • 公式
知识点 口诀 解释
导数定义式 变化速率瞬间看 导数即函数在某点的变化率
斜率 斜率即导数 曲线的导数等于该点处切线的斜率
导数存在条件 连续光滑无跳变 函数在该点必须连续且光滑

总结

  • 导数看斜率,曲线随点变。

微分(Differentiation)

  • 定义:微分是导数的线性近似,表示函数在小变化下的增量。
  • 公式,表示 dx 的微小变化引起 dy 的变化。

微分近似小变大,导差线性接着算。

知识点 口诀 解释
微分近似 小变大差线性算 微分表示函数的增量,是导数的线性近似
一阶微分 导数导差就是微分 微分与导数等价于线性变化

总结

  • 微分近似小变大,导差线性接着算。

  • 导数 表示变化率微分 表示变化量


偏导数(Partial Derivative)

  • 定义 :偏导数表示多元函数在某一点处关于某一变量的导数,其他变量保持不变。
  • 公式符号 来表示多元函数 ,关于x的偏导数 即:
知识点 口诀 解释
偏导数 看谁变化锁其他 偏导数只看一个变量,其他变量保持不变
偏导数几何意义 高维斜率看切面 在多维空间中,偏导数表示函数沿某轴的斜率
计算方法 变量固定逐个求 对每个变量分别求导

总结

  • 偏导锁定一变量,高维斜率看切面。

梯度(Gradient)

  • 定义 :梯度是函数在多维空间中变化最快的方向,一个包含所有偏导数的向量符号是

  • 公式对函数 来说,其梯度向量是

    梯度下降算法中,参数更新公式为

知识点 口诀 解释
梯度定义 快速上升靠梯度 梯度表示函数变化最快的方向
梯度计算 多维偏导排成队 梯度是各个偏导数排列成的向量
梯度方向 梯度方向最快升 梯度方向表示函数上升最快的方向

总结

  • 梯度导快升,排队各偏导。

链式求导法则(Chain Rule)

  • 定义:链式法则用于复合函数的求导,即导数分为外层函数和内层函数分别求导。

假设对实数x,有可微函数f 和 g,其中z = f(y) ,y = g(x),那么,链式法则公式如下

所谓链式法则,就是一层一层增加可以互相抵消的分子分母

例子

有函数 , 计算 的导数,可得

  • 公式
知识点 口诀 解释
链式法则 内外分导再相乘 外层函数的导数乘以内层函数的导数
链式求导应用 多层复合层层解 对于多层复合函数,逐层求导

总结

  • 链式分内外,逐层导相乘。

记忆口诀

  • 极限:"左等于右,常数不变小数带",极限需要左右一致,小数极限直接代入。
  • 导数:"导数看斜率,曲线随点变",导数表示函数在一点的斜率,函数形状随点变化。
  • 微分:"微分近似小变大,导差线性接着算",微分表示函数的线性近似,是导数的进一步延伸。
  • 偏导数:"偏导锁定一变量,高维斜率看切面",多变量函数中只看一个变量的变化,其余固定。
  • 梯度:"梯度导快升,排队各偏导",梯度表示函数上升最快的方向,是各偏导数的组合。
  • 链式法则:"链式分内外,逐层导相乘",链式法则用于复合函数的求导,逐层求导并相乘。
相关推荐
昨日之日20062 小时前
Moonshine - 新型开源ASR(语音识别)模型,体积小,速度快,比OpenAI Whisper快五倍 本地一键整合包下载
人工智能·whisper·语音识别
浮生如梦_2 小时前
Halcon基于laws纹理特征的SVM分类
图像处理·人工智能·算法·支持向量机·计算机视觉·分类·视觉检测
深度学习lover2 小时前
<项目代码>YOLOv8 苹果腐烂识别<目标检测>
人工智能·python·yolo·目标检测·计算机视觉·苹果腐烂识别
热爱跑步的恒川3 小时前
【论文复现】基于图卷积网络的轻量化推荐模型
网络·人工智能·开源·aigc·ai编程
阡之尘埃5 小时前
Python数据分析案例61——信贷风控评分卡模型(A卡)(scorecardpy 全面解析)
人工智能·python·机器学习·数据分析·智能风控·信贷风控
孙同学要努力7 小时前
全连接神经网络案例——手写数字识别
人工智能·深度学习·神经网络
Eric.Lee20217 小时前
yolo v5 开源项目
人工智能·yolo·目标检测·计算机视觉
其实吧38 小时前
基于Matlab的图像融合研究设计
人工智能·计算机视觉·matlab
丕羽8 小时前
【Pytorch】基本语法
人工智能·pytorch·python
ctrey_8 小时前
2024-11-1 学习人工智能的Day20 openCV(2)
人工智能·opencv·学习