深度学习之微积分预备知识点

极限(Limit)

  • 定义 :表示某一点处函数趋近于某一特定值的过程,一般记为

极限是一种变化状态的描述,核心思想是无限靠近而永远不能到达

  • 公式 表示 x 趋向 a 时 f(x) 的极限。
知识点 口诀 解释
极限的存在 左右极限需相等 左极限等于右极限,极限才存在
极限求值 小数接近分母带 分子分母消掉无关,最后代入极限值
无限极限 无穷大趋向无穷多 x 趋向无穷大时,函数会无界
常数极限 常数极限还是常 常数不随 x 变化,其极限为常数本身

总结

  • 极限是"左等于右",常数不变小数带。

导数(Derivative)

  • 定义:函数的局部性质,导数表示函数变化率,即在某一点的斜率。

对函数y = f(x)来说,其导数可以用符号f'(x)来表示。也可记为

  • 公式
知识点 口诀 解释
导数定义式 变化速率瞬间看 导数即函数在某点的变化率
斜率 斜率即导数 曲线的导数等于该点处切线的斜率
导数存在条件 连续光滑无跳变 函数在该点必须连续且光滑

总结

  • 导数看斜率,曲线随点变。

微分(Differentiation)

  • 定义:微分是导数的线性近似,表示函数在小变化下的增量。
  • 公式,表示 dx 的微小变化引起 dy 的变化。

微分近似小变大,导差线性接着算。

知识点 口诀 解释
微分近似 小变大差线性算 微分表示函数的增量,是导数的线性近似
一阶微分 导数导差就是微分 微分与导数等价于线性变化

总结

  • 微分近似小变大,导差线性接着算。

  • 导数 表示变化率微分 表示变化量


偏导数(Partial Derivative)

  • 定义 :偏导数表示多元函数在某一点处关于某一变量的导数,其他变量保持不变。
  • 公式符号 来表示多元函数 ,关于x的偏导数 即:
知识点 口诀 解释
偏导数 看谁变化锁其他 偏导数只看一个变量,其他变量保持不变
偏导数几何意义 高维斜率看切面 在多维空间中,偏导数表示函数沿某轴的斜率
计算方法 变量固定逐个求 对每个变量分别求导

总结

  • 偏导锁定一变量,高维斜率看切面。

梯度(Gradient)

  • 定义 :梯度是函数在多维空间中变化最快的方向,一个包含所有偏导数的向量符号是

  • 公式对函数 来说,其梯度向量是

    梯度下降算法中,参数更新公式为

知识点 口诀 解释
梯度定义 快速上升靠梯度 梯度表示函数变化最快的方向
梯度计算 多维偏导排成队 梯度是各个偏导数排列成的向量
梯度方向 梯度方向最快升 梯度方向表示函数上升最快的方向

总结

  • 梯度导快升,排队各偏导。

链式求导法则(Chain Rule)

  • 定义:链式法则用于复合函数的求导,即导数分为外层函数和内层函数分别求导。

假设对实数x,有可微函数f 和 g,其中z = f(y) ,y = g(x),那么,链式法则公式如下

所谓链式法则,就是一层一层增加可以互相抵消的分子分母

例子

有函数 , 计算 的导数,可得

  • 公式
知识点 口诀 解释
链式法则 内外分导再相乘 外层函数的导数乘以内层函数的导数
链式求导应用 多层复合层层解 对于多层复合函数,逐层求导

总结

  • 链式分内外,逐层导相乘。

记忆口诀

  • 极限:"左等于右,常数不变小数带",极限需要左右一致,小数极限直接代入。
  • 导数:"导数看斜率,曲线随点变",导数表示函数在一点的斜率,函数形状随点变化。
  • 微分:"微分近似小变大,导差线性接着算",微分表示函数的线性近似,是导数的进一步延伸。
  • 偏导数:"偏导锁定一变量,高维斜率看切面",多变量函数中只看一个变量的变化,其余固定。
  • 梯度:"梯度导快升,排队各偏导",梯度表示函数上升最快的方向,是各偏导数的组合。
  • 链式法则:"链式分内外,逐层导相乘",链式法则用于复合函数的求导,逐层求导并相乘。
相关推荐
牧子川7 小时前
009-Transformer-Architecture
人工智能·深度学习·transformer
covco7 小时前
矩阵管理系统指南:拆解星链引擎的架构设计与全链路落地实践
大数据·人工智能·矩阵
沪漂阿龙7 小时前
AI大模型面试题:支持向量机是什么?间隔最大化、软间隔、核函数、LinearSVC 全面拆解
人工智能·算法·支持向量机
lifewange7 小时前
AI编写测试用例工具介绍
人工智能·测试用例
陕西字符7 小时前
2026 西安 豆包获客优化技术深度解析:企来客科技 AI 全域获客系统测评
大数据·人工智能
掘金安东尼7 小时前
GGUF、GPTQ、AWQ、EXL2、MLX、VMLX...运行大模型,为什么会有这么多格式?
人工智能
新知图书7 小时前
市场分析报告自动化生成(使用千问)
人工智能·ai助手·千问·高效办公
无心水7 小时前
【Hermes:安全、权限与生产环境】38、Hermes Agent 安全四层纵深:最小权限原则从理论到落地的完全指南
人工智能·安全·mcp协议·openclaw·养龙虾·hermes·honcho
旦莫8 小时前
AI驱动的纯视觉自动化测试:知识库里应该积累什么知识内容
人工智能·python·测试开发·pytest·ai测试
dfsj660118 小时前
第四章:深度学习革命
人工智能·深度学习