深度学习之微积分预备知识点

极限(Limit)

  • 定义 :表示某一点处函数趋近于某一特定值的过程,一般记为

极限是一种变化状态的描述,核心思想是无限靠近而永远不能到达

  • 公式 : 表示 x 趋向 a 时 f(x) 的极限。
知识点 口诀 解释
极限的存在 左右极限需相等 左极限等于右极限,极限才存在
极限求值 小数接近分母带 分子分母消掉无关,最后代入极限值
无限极限 无穷大趋向无穷多 x 趋向无穷大时,函数会无界
常数极限 常数极限还是常 常数不随 x 变化,其极限为常数本身

总结:

  • 极限是"左等于右",常数不变小数带。

导数(Derivative)

  • 定义:函数的局部性质,导数表示函数变化率,即在某一点的斜率。

对函数y = f(x)来说,其导数可以用符号f'(x)来表示。也可记为

  • 公式 :。
知识点 口诀 解释
导数定义式 变化速率瞬间看 导数即函数在某点的变化率
斜率 斜率即导数 曲线的导数等于该点处切线的斜率
导数存在条件 连续光滑无跳变 函数在该点必须连续且光滑

总结:

  • 导数看斜率,曲线随点变。

微分(Differentiation)

  • 定义:微分是导数的线性近似,表示函数在小变化下的增量。
  • 公式 :,表示 dx 的微小变化引起 dy 的变化。

微分近似小变大,导差线性接着算。

知识点 口诀 解释
微分近似 小变大差线性算 微分表示函数的增量,是导数的线性近似
一阶微分 导数导差就是微分 微分与导数等价于线性变化

总结:

  • 微分近似小变大,导差线性接着算。

  • 导数 表示变化率 ,微分 表示变化量


偏导数(Partial Derivative)

  • 定义 :偏导数表示多元函数在某一点处关于某一变量的导数,其他变量保持不变。
  • 公式 :符号 来表示多元函数 ,关于x的偏导数 即:
知识点 口诀 解释
偏导数 看谁变化锁其他 偏导数只看一个变量,其他变量保持不变
偏导数几何意义 高维斜率看切面 在多维空间中,偏导数表示函数沿某轴的斜率
计算方法 变量固定逐个求 对每个变量分别求导

总结:

  • 偏导锁定一变量,高维斜率看切面。

梯度(Gradient)

  • 定义 :梯度是函数在多维空间中变化最快的方向,一个包含所有偏导数的向量 。符号是

  • 公式 : 对函数 来说,其梯度向量是

    梯度下降算法中,参数更新公式为

知识点 口诀 解释
梯度定义 快速上升靠梯度 梯度表示函数变化最快的方向
梯度计算 多维偏导排成队 梯度是各个偏导数排列成的向量
梯度方向 梯度方向最快升 梯度方向表示函数上升最快的方向

总结:

  • 梯度导快升,排队各偏导。

链式求导法则(Chain Rule)

  • 定义:链式法则用于复合函数的求导,即导数分为外层函数和内层函数分别求导。

假设对实数x,有可微函数f 和 g,其中z = f(y) ,y = g(x),那么,链式法则公式如下

所谓链式法则,就是一层一层增加可以互相抵消的分子分母

例子:

有函数 和 , 计算 的导数,可得

  • 公式 :
知识点 口诀 解释
链式法则 内外分导再相乘 外层函数的导数乘以内层函数的导数
链式求导应用 多层复合层层解 对于多层复合函数,逐层求导

总结:

  • 链式分内外,逐层导相乘。

记忆口诀

  • 极限:"左等于右,常数不变小数带",极限需要左右一致,小数极限直接代入。
  • 导数:"导数看斜率,曲线随点变",导数表示函数在一点的斜率,函数形状随点变化。
  • 微分:"微分近似小变大,导差线性接着算",微分表示函数的线性近似,是导数的进一步延伸。
  • 偏导数:"偏导锁定一变量,高维斜率看切面",多变量函数中只看一个变量的变化,其余固定。
  • 梯度:"梯度导快升,排队各偏导",梯度表示函数上升最快的方向,是各偏导数的组合。
  • 链式法则:"链式分内外,逐层导相乘",链式法则用于复合函数的求导,逐层求导并相乘。
相关推荐
回眸&啤酒鸭3 天前
【回眸】Minicart 电商购物车核心功能落地指南
人工智能
一隅论数智3 天前
给AI一张“业务概念地图“:本体如何从哲学走向企业智能
大数据·人工智能·经验分享·笔记·学习·学习方法·政务
AI的探索之旅3 天前
97 个 OpenCV 实例(三十):双目立体,从标定到点云
人工智能·opencv·计算机视觉
AlbertZein3 天前
Step-5-Preview 上手实测:3D 游戏、金融分析、网页设计一次跑完
人工智能·aigc
LaughingZhu3 天前
Product Hunt 每日热榜 | 2026-09-19
人工智能·深度学习·神经网络·搜索引擎·百度
美狐美颜SDK开放平台3 天前
开发直播APP时如何接入视频美颜SDK?开发流程与注意事项
android·人工智能·计算机视觉·音视频·直播美颜sdk
wukangjupingbb3 天前
智能网联汽车安全能力框架
人工智能
龙亘川3 天前
明月照湾区,智启新赛道:从顶流文旅IP盛会看智慧文旅升级路径
人工智能·智慧城市·开源软件·数据可视化
飞猫的边缘AI3 天前
边缘AI应用:家用AI摄像头怎么做数据训练?
人工智能·边缘计算·ai算法·边缘ai