【漫话机器学习系列】211.驻点(Stationary Points)

驻点(Stationary Points):理解函数导数为零的关键位置

在数学分析、机器学习优化、物理建模等领域中,**驻点(Stationary Points)**是一个非常重要的概念。它们是函数图像中"停下来的点",即导数为零的点,往往也是我们寻找极值(最大值、最小值)或判断函数走向变化的关键。

本文将借助图示,深入解析驻点的定义、几种类型、判断方法及其在优化中的实际应用。


什么是驻点?

如上图所示,驻点是函数导数为零的点,也就是说,在这些点上,函数的切线斜率为零,图像"平坦"下来。

数学上,如果函数 f(x) 可导,则当:

时,点 ​ 就是函数的一个驻点。

图中红色标注的两个点,就是典型的驻点,一个对应"局部极大值",一个对应"局部极小值"。


为什么驻点重要?

驻点常常是我们寻找函数最值的起点。在优化问题中,例如我们希望最小化某个损失函数,首先就需要找到所有导数为 0 的点(即驻点),然后进一步判断这些点中哪些是真正的最小值。

此外,驻点在以下几个方面扮演重要角色:

  • 数学分析:寻找极值、拐点、函数走向

  • 机器学习:损失函数的最优解

  • 物理建模:平衡点、临界状态

  • 图形绘制:绘制函数图像的高光点


驻点 ≠ 极值点!

需要注意的是:并不是所有驻点都是极值点

驻点分为三类:

  1. 极大值点:例如图中左侧的红点,函数先增后减,此处为局部最高点;

  2. 极小值点:例如图中右侧的红点,函数先减后增,为局部最低点;

  3. 拐点或鞍点 :函数在此"短暂停留"但并没有达到极值,例如 在 x = 0 处就是一个鞍点。

因此,要判断一个驻点的性质,必须结合二阶导数或其他方法进一步分析。


如何判断驻点的类型?

方法一:使用二阶导数判别法

,且 f 可导两次。

  • 如果 ,则 ​ 为局部极小值;

  • 如果 ,则 ​ 为局部极大值;

  • 如果 ,需要更高阶导数或其他方法判断(如变号法)。

方法二:使用变号法

观察导数 f'(x) 在驻点左右的符号:

  • 从正变负:极大值;

  • 从负变正:极小值;

  • 不变号或变号多次:鞍点或其他非极值驻点。


驻点在机器学习中的应用

驻点在机器学习优化中是核心概念之一,尤其是在使用**梯度下降(Gradient Descent)**等算法时:

  • 每一步更新模型参数,就是沿着梯度方向"逼近"导数为零的驻点;

  • 驻点可能是目标函数的局部最小值 ,也可能是全局最小值鞍点

  • 深度学习中的"鞍点困境"即大量驻点并不是极小值,使训练陷入停滞。


图示讲解

图中简洁地展示了一个典型函数曲线,两个红点即为导数为零的驻点:

  • 左侧红点:局部极大值(导数从正变负)

  • 右侧红点:局部极小值(导数从负变正)


总结

项目 内容
定义 函数导数为零的点 f'(x) = 0
判断方法 二阶导数法、变号法
类型 极大值、极小值、鞍点
应用 函数极值、机器学习优化、物理建模等

小结一句话

驻点,是函数"暂时停止变化"的位置,是通向极值与最优解的必经之地。

相关推荐
guslegend2 分钟前
第4节:应用架构与代码组织
人工智能·大模型·ai编程
一水鉴天5 分钟前
现今/现在/现代——系统设计“现”层架构 20260503 (腾讯元宝)
人工智能·架构
格林威6 分钟前
工业视觉检测:两大主流异常检测开源框架深度对比(PatchCore vs SPADE)
开发语言·人工智能·深度学习·数码相机·计算机视觉·视觉检测·工业相机
天诚智能门锁8 分钟前
天诚cat.1人脸公租房智能锁及管控平台助力三门县公租房管理
大数据·人工智能·物联网·智慧城市·公租房
threelab9 分钟前
Three.js 3D 饼图效果 | 三维可视化 / AI 提示词
javascript·人工智能·3d
小何code14 分钟前
人工智能【第11篇】K近邻算法KNN:简单有效的分类方法(长文+代码实现)
人工智能·机器学习·knn
测试员周周14 分钟前
【AI测试系统】第5篇:AI 编码工具抛硬币?我们用 LangGraph 做了个“确定性+AI”的测试系统(附自愈架构)
人工智能·python·功能测试·测试工具·架构·langchain·单元测试
初学大模型15 分钟前
与机器心智的对话:论人机交互中提问的精确性与描述的详尽性
人工智能
AI木马人16 分钟前
18.人工智能实战:LoRA 微调后效果不升反降?从数据清洗到训练参数的完整排查方案
人工智能·深度学习·机器学习
davedeveloper16 分钟前
ReAct 论文深度解读:让大模型学会“边想边做“
人工智能