深度学习之微积分预备知识点

极限(Limit)

  • 定义 :表示某一点处函数趋近于某一特定值的过程,一般记为

极限是一种变化状态的描述,核心思想是无限靠近而永远不能到达

  • 公式 表示 x 趋向 a 时 f(x) 的极限。
知识点 口诀 解释
极限的存在 左右极限需相等 左极限等于右极限,极限才存在
极限求值 小数接近分母带 分子分母消掉无关,最后代入极限值
无限极限 无穷大趋向无穷多 x 趋向无穷大时,函数会无界
常数极限 常数极限还是常 常数不随 x 变化,其极限为常数本身

总结

  • 极限是"左等于右",常数不变小数带。

导数(Derivative)

  • 定义:函数的局部性质,导数表示函数变化率,即在某一点的斜率。

对函数y = f(x)来说,其导数可以用符号f'(x)来表示。也可记为

  • 公式
知识点 口诀 解释
导数定义式 变化速率瞬间看 导数即函数在某点的变化率
斜率 斜率即导数 曲线的导数等于该点处切线的斜率
导数存在条件 连续光滑无跳变 函数在该点必须连续且光滑

总结

  • 导数看斜率,曲线随点变。

微分(Differentiation)

  • 定义:微分是导数的线性近似,表示函数在小变化下的增量。
  • 公式,表示 dx 的微小变化引起 dy 的变化。

微分近似小变大,导差线性接着算。

知识点 口诀 解释
微分近似 小变大差线性算 微分表示函数的增量,是导数的线性近似
一阶微分 导数导差就是微分 微分与导数等价于线性变化

总结

  • 微分近似小变大,导差线性接着算。

  • 导数 表示变化率微分 表示变化量


偏导数(Partial Derivative)

  • 定义 :偏导数表示多元函数在某一点处关于某一变量的导数,其他变量保持不变。
  • 公式符号 来表示多元函数 ,关于x的偏导数 即:
知识点 口诀 解释
偏导数 看谁变化锁其他 偏导数只看一个变量,其他变量保持不变
偏导数几何意义 高维斜率看切面 在多维空间中,偏导数表示函数沿某轴的斜率
计算方法 变量固定逐个求 对每个变量分别求导

总结

  • 偏导锁定一变量,高维斜率看切面。

梯度(Gradient)

  • 定义 :梯度是函数在多维空间中变化最快的方向,一个包含所有偏导数的向量符号是

  • 公式对函数 来说,其梯度向量是

    梯度下降算法中,参数更新公式为

知识点 口诀 解释
梯度定义 快速上升靠梯度 梯度表示函数变化最快的方向
梯度计算 多维偏导排成队 梯度是各个偏导数排列成的向量
梯度方向 梯度方向最快升 梯度方向表示函数上升最快的方向

总结

  • 梯度导快升,排队各偏导。

链式求导法则(Chain Rule)

  • 定义:链式法则用于复合函数的求导,即导数分为外层函数和内层函数分别求导。

假设对实数x,有可微函数f 和 g,其中z = f(y) ,y = g(x),那么,链式法则公式如下

所谓链式法则,就是一层一层增加可以互相抵消的分子分母

例子

有函数 , 计算 的导数,可得

  • 公式
知识点 口诀 解释
链式法则 内外分导再相乘 外层函数的导数乘以内层函数的导数
链式求导应用 多层复合层层解 对于多层复合函数,逐层求导

总结

  • 链式分内外,逐层导相乘。

记忆口诀

  • 极限:"左等于右,常数不变小数带",极限需要左右一致,小数极限直接代入。
  • 导数:"导数看斜率,曲线随点变",导数表示函数在一点的斜率,函数形状随点变化。
  • 微分:"微分近似小变大,导差线性接着算",微分表示函数的线性近似,是导数的进一步延伸。
  • 偏导数:"偏导锁定一变量,高维斜率看切面",多变量函数中只看一个变量的变化,其余固定。
  • 梯度:"梯度导快升,排队各偏导",梯度表示函数上升最快的方向,是各偏导数的组合。
  • 链式法则:"链式分内外,逐层导相乘",链式法则用于复合函数的求导,逐层求导并相乘。
相关推荐
sali-tec2 小时前
C# 基于halcon的视觉工作流-章56-彩图转云图
人工智能·算法·计算机视觉·c#
梦想画家3 小时前
基于PyTorch的时间序列异常检测管道构建指南
人工智能·pytorch·python
Elastic 中国社区官方博客3 小时前
在 Elasticsearch 中使用 Mistral Chat completions 进行上下文工程
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
一碗绿豆汤3 小时前
机器学习第二阶段
人工智能·机器学习
用什么都重名4 小时前
DeepSeek-OCR 深度解析
人工智能·ocr·deepseek-ocr
河南骏4 小时前
RAG_检索进阶
人工智能·深度学习
灯火不休时5 小时前
95%准确率!CNN交通标志识别系统开源
人工智能·python·深度学习·神经网络·cnn·tensorflow
mit6.8246 小时前
[手机AI开发sdk] Aid_code IDE | PC浏览器同步访问
ide·人工智能·智能手机
deephub6 小时前
FastMCP 入门:用 Python 快速搭建 MCP 服务器接入 LLM
服务器·人工智能·python·大语言模型·mcp
番石榴AI6 小时前
基于机器学习优化的主图选择方法(酒店,景点,餐厅等APP上的主图展示推荐)
图像处理·人工智能·python·机器学习