深度学习之微积分预备知识点

极限(Limit)

  • 定义 :表示某一点处函数趋近于某一特定值的过程,一般记为

极限是一种变化状态的描述,核心思想是无限靠近而永远不能到达

  • 公式 表示 x 趋向 a 时 f(x) 的极限。
知识点 口诀 解释
极限的存在 左右极限需相等 左极限等于右极限,极限才存在
极限求值 小数接近分母带 分子分母消掉无关,最后代入极限值
无限极限 无穷大趋向无穷多 x 趋向无穷大时,函数会无界
常数极限 常数极限还是常 常数不随 x 变化,其极限为常数本身

总结

  • 极限是"左等于右",常数不变小数带。

导数(Derivative)

  • 定义:函数的局部性质,导数表示函数变化率,即在某一点的斜率。

对函数y = f(x)来说,其导数可以用符号f'(x)来表示。也可记为

  • 公式
知识点 口诀 解释
导数定义式 变化速率瞬间看 导数即函数在某点的变化率
斜率 斜率即导数 曲线的导数等于该点处切线的斜率
导数存在条件 连续光滑无跳变 函数在该点必须连续且光滑

总结

  • 导数看斜率,曲线随点变。

微分(Differentiation)

  • 定义:微分是导数的线性近似,表示函数在小变化下的增量。
  • 公式,表示 dx 的微小变化引起 dy 的变化。

微分近似小变大,导差线性接着算。

知识点 口诀 解释
微分近似 小变大差线性算 微分表示函数的增量,是导数的线性近似
一阶微分 导数导差就是微分 微分与导数等价于线性变化

总结

  • 微分近似小变大,导差线性接着算。

  • 导数 表示变化率微分 表示变化量


偏导数(Partial Derivative)

  • 定义 :偏导数表示多元函数在某一点处关于某一变量的导数,其他变量保持不变。
  • 公式符号 来表示多元函数 ,关于x的偏导数 即:
知识点 口诀 解释
偏导数 看谁变化锁其他 偏导数只看一个变量,其他变量保持不变
偏导数几何意义 高维斜率看切面 在多维空间中,偏导数表示函数沿某轴的斜率
计算方法 变量固定逐个求 对每个变量分别求导

总结

  • 偏导锁定一变量,高维斜率看切面。

梯度(Gradient)

  • 定义 :梯度是函数在多维空间中变化最快的方向,一个包含所有偏导数的向量符号是

  • 公式对函数 来说,其梯度向量是

    梯度下降算法中,参数更新公式为

知识点 口诀 解释
梯度定义 快速上升靠梯度 梯度表示函数变化最快的方向
梯度计算 多维偏导排成队 梯度是各个偏导数排列成的向量
梯度方向 梯度方向最快升 梯度方向表示函数上升最快的方向

总结

  • 梯度导快升,排队各偏导。

链式求导法则(Chain Rule)

  • 定义:链式法则用于复合函数的求导,即导数分为外层函数和内层函数分别求导。

假设对实数x,有可微函数f 和 g,其中z = f(y) ,y = g(x),那么,链式法则公式如下

所谓链式法则,就是一层一层增加可以互相抵消的分子分母

例子

有函数 , 计算 的导数,可得

  • 公式
知识点 口诀 解释
链式法则 内外分导再相乘 外层函数的导数乘以内层函数的导数
链式求导应用 多层复合层层解 对于多层复合函数,逐层求导

总结

  • 链式分内外,逐层导相乘。

记忆口诀

  • 极限:"左等于右,常数不变小数带",极限需要左右一致,小数极限直接代入。
  • 导数:"导数看斜率,曲线随点变",导数表示函数在一点的斜率,函数形状随点变化。
  • 微分:"微分近似小变大,导差线性接着算",微分表示函数的线性近似,是导数的进一步延伸。
  • 偏导数:"偏导锁定一变量,高维斜率看切面",多变量函数中只看一个变量的变化,其余固定。
  • 梯度:"梯度导快升,排队各偏导",梯度表示函数上升最快的方向,是各偏导数的组合。
  • 链式法则:"链式分内外,逐层导相乘",链式法则用于复合函数的求导,逐层求导并相乘。
相关推荐
Blossom.1181 小时前
使用Python和Scikit-Learn实现机器学习模型调优
开发语言·人工智能·python·深度学习·目标检测·机器学习·scikit-learn
scdifsn2 小时前
动手学深度学习12.7. 参数服务器-笔记&练习(PyTorch)
pytorch·笔记·深度学习·分布式计算·数据并行·参数服务器
DFminer2 小时前
【LLM】fast-api 流式生成测试
人工智能·机器人
郄堃Deep Traffic3 小时前
机器学习+城市规划第十四期:利用半参数地理加权回归来实现区域带宽不同的规划任务
人工智能·机器学习·回归·城市规划
海盗儿3 小时前
Attention Is All You Need (Transformer) 以及Transformer pytorch实现
pytorch·深度学习·transformer
GIS小天3 小时前
AI+预测3D新模型百十个定位预测+胆码预测+去和尾2025年6月7日第101弹
人工智能·算法·机器学习·彩票
阿部多瑞 ABU4 小时前
主流大语言模型安全性测试(三):阿拉伯语越狱提示词下的表现与分析
人工智能·安全·ai·语言模型·安全性测试
cnbestec4 小时前
Xela矩阵三轴触觉传感器的工作原理解析与应用场景
人工智能·线性代数·触觉传感器
不忘不弃4 小时前
计算矩阵A和B的乘积
线性代数·算法·矩阵
不爱写代码的玉子4 小时前
HALCON透视矩阵
人工智能·深度学习·线性代数·算法·计算机视觉·矩阵·c#