【漫话机器学习系列】211.驻点(Stationary Points)

驻点(Stationary Points):理解函数导数为零的关键位置

在数学分析、机器学习优化、物理建模等领域中,**驻点(Stationary Points)**是一个非常重要的概念。它们是函数图像中"停下来的点",即导数为零的点,往往也是我们寻找极值(最大值、最小值)或判断函数走向变化的关键。

本文将借助图示,深入解析驻点的定义、几种类型、判断方法及其在优化中的实际应用。


什么是驻点?

如上图所示,驻点是函数导数为零的点,也就是说,在这些点上,函数的切线斜率为零,图像"平坦"下来。

数学上,如果函数 f(x) 可导,则当:

时,点 ​ 就是函数的一个驻点。

图中红色标注的两个点,就是典型的驻点,一个对应"局部极大值",一个对应"局部极小值"。


为什么驻点重要?

驻点常常是我们寻找函数最值的起点。在优化问题中,例如我们希望最小化某个损失函数,首先就需要找到所有导数为 0 的点(即驻点),然后进一步判断这些点中哪些是真正的最小值。

此外,驻点在以下几个方面扮演重要角色:

  • 数学分析:寻找极值、拐点、函数走向

  • 机器学习:损失函数的最优解

  • 物理建模:平衡点、临界状态

  • 图形绘制:绘制函数图像的高光点


驻点 ≠ 极值点!

需要注意的是:并不是所有驻点都是极值点

驻点分为三类:

  1. 极大值点:例如图中左侧的红点,函数先增后减,此处为局部最高点;

  2. 极小值点:例如图中右侧的红点,函数先减后增,为局部最低点;

  3. 拐点或鞍点 :函数在此"短暂停留"但并没有达到极值,例如 在 x = 0 处就是一个鞍点。

因此,要判断一个驻点的性质,必须结合二阶导数或其他方法进一步分析。


如何判断驻点的类型?

方法一:使用二阶导数判别法

,且 f 可导两次。

  • 如果 ,则 ​ 为局部极小值;

  • 如果 ,则 ​ 为局部极大值;

  • 如果 ,需要更高阶导数或其他方法判断(如变号法)。

方法二:使用变号法

观察导数 f'(x) 在驻点左右的符号:

  • 从正变负:极大值;

  • 从负变正:极小值;

  • 不变号或变号多次:鞍点或其他非极值驻点。


驻点在机器学习中的应用

驻点在机器学习优化中是核心概念之一,尤其是在使用**梯度下降(Gradient Descent)**等算法时:

  • 每一步更新模型参数,就是沿着梯度方向"逼近"导数为零的驻点;

  • 驻点可能是目标函数的局部最小值 ,也可能是全局最小值鞍点

  • 深度学习中的"鞍点困境"即大量驻点并不是极小值,使训练陷入停滞。


图示讲解

图中简洁地展示了一个典型函数曲线,两个红点即为导数为零的驻点:

  • 左侧红点:局部极大值(导数从正变负)

  • 右侧红点:局部极小值(导数从负变正)


总结

项目 内容
定义 函数导数为零的点 f'(x) = 0
判断方法 二阶导数法、变号法
类型 极大值、极小值、鞍点
应用 函数极值、机器学习优化、物理建模等

小结一句话

驻点,是函数"暂时停止变化"的位置,是通向极值与最优解的必经之地。

相关推荐
Jahzo5 分钟前
openclaw本地化部署体验与踩坑记录--飞书机器人配置
人工智能·开源
Narrastory5 分钟前
明日香 - Pytorch 快速入门保姆级教程(一)
人工智能·pytorch·深度学习
数据智能老司机6 分钟前
用于进攻性网络安全的智能体 AI——在 n8n 中构建你的第一个 AI 工作流
人工智能·安全·agent
数据智能老司机9 分钟前
用于进攻性网络安全的智能体 AI——智能体 AI 入门
人工智能·安全·agent
Narrastory10 分钟前
明日香 - Pytorch 快速入门保姆级教程(二)
人工智能·pytorch·深度学习
AI攻城狮11 分钟前
OpenClaw Session 管理完全指南:Context 压缩、重置与持久化
人工智能·云原生·aigc
哥布林学者1 小时前
高光谱成像(二)光谱角映射 SAM
机器学习·高光谱成像
中杯可乐多加冰2 小时前
OpenClaw到底能做什么?有什么用?先装这几个实用的Skills
人工智能
千寻girling2 小时前
一份不可多得的 《 Python 》语言教程
人工智能·后端·python
aircrushin4 小时前
从春晚看分布式实时协同算法与灵巧手工程实现
人工智能·机器人