【漫话机器学习系列】211.驻点(Stationary Points)

驻点(Stationary Points):理解函数导数为零的关键位置

在数学分析、机器学习优化、物理建模等领域中,**驻点(Stationary Points)**是一个非常重要的概念。它们是函数图像中"停下来的点",即导数为零的点,往往也是我们寻找极值(最大值、最小值)或判断函数走向变化的关键。

本文将借助图示,深入解析驻点的定义、几种类型、判断方法及其在优化中的实际应用。


什么是驻点?

如上图所示,驻点是函数导数为零的点,也就是说,在这些点上,函数的切线斜率为零,图像"平坦"下来。

数学上,如果函数 f(x) 可导,则当:

时,点 ​ 就是函数的一个驻点。

图中红色标注的两个点,就是典型的驻点,一个对应"局部极大值",一个对应"局部极小值"。


为什么驻点重要?

驻点常常是我们寻找函数最值的起点。在优化问题中,例如我们希望最小化某个损失函数,首先就需要找到所有导数为 0 的点(即驻点),然后进一步判断这些点中哪些是真正的最小值。

此外,驻点在以下几个方面扮演重要角色:

  • 数学分析:寻找极值、拐点、函数走向

  • 机器学习:损失函数的最优解

  • 物理建模:平衡点、临界状态

  • 图形绘制:绘制函数图像的高光点


驻点 ≠ 极值点!

需要注意的是:并不是所有驻点都是极值点

驻点分为三类:

  1. 极大值点:例如图中左侧的红点,函数先增后减,此处为局部最高点;

  2. 极小值点:例如图中右侧的红点,函数先减后增,为局部最低点;

  3. 拐点或鞍点 :函数在此"短暂停留"但并没有达到极值,例如 在 x = 0 处就是一个鞍点。

因此,要判断一个驻点的性质,必须结合二阶导数或其他方法进一步分析。


如何判断驻点的类型?

方法一:使用二阶导数判别法

,且 f 可导两次。

  • 如果 ,则 ​ 为局部极小值;

  • 如果 ,则 ​ 为局部极大值;

  • 如果 ,需要更高阶导数或其他方法判断(如变号法)。

方法二:使用变号法

观察导数 f'(x) 在驻点左右的符号:

  • 从正变负:极大值;

  • 从负变正:极小值;

  • 不变号或变号多次:鞍点或其他非极值驻点。


驻点在机器学习中的应用

驻点在机器学习优化中是核心概念之一,尤其是在使用**梯度下降(Gradient Descent)**等算法时:

  • 每一步更新模型参数,就是沿着梯度方向"逼近"导数为零的驻点;

  • 驻点可能是目标函数的局部最小值 ,也可能是全局最小值鞍点

  • 深度学习中的"鞍点困境"即大量驻点并不是极小值,使训练陷入停滞。


图示讲解

图中简洁地展示了一个典型函数曲线,两个红点即为导数为零的驻点:

  • 左侧红点:局部极大值(导数从正变负)

  • 右侧红点:局部极小值(导数从负变正)


总结

项目 内容
定义 函数导数为零的点 f'(x) = 0
判断方法 二阶导数法、变号法
类型 极大值、极小值、鞍点
应用 函数极值、机器学习优化、物理建模等

小结一句话

驻点,是函数"暂时停止变化"的位置,是通向极值与最优解的必经之地。

相关推荐
老蒋新思维2 分钟前
创客匠人:从个人IP到知识变现,如何构建可持续的内容生态?
大数据·网络·人工智能·网络协议·tcp/ip·创客匠人·知识变现
HyperAI超神经7 分钟前
GPT-5全面领先,OpenAI发布FrontierScience,「推理+科研」双轨检验大模型能力
人工智能·gpt·ai·openai·benchmark·基准测试·gpt5.2
老蒋新思维12 分钟前
创客匠人洞察:从“个人品牌”到“系统物种”——知识IP的终极进化之路
网络·人工智能·网络协议·tcp/ip·重构·创客匠人·知识变现
阿杰学AI14 分钟前
AI核心知识57——大语言模型之MoE(简洁且通俗易懂版)
人工智能·ai·语言模型·aigc·ai-native·moe·混合专家模型
珠海西格电力18 分钟前
零碳园区边缘计算节点规划:数字底座的硬件部署与能耗控制方案
运维·人工智能·物联网·能源·边缘计算
臼犀22 分钟前
孩子,那不是说明书,那是祈祷文
人工智能·程序员·markdown
黑客思维者23 分钟前
《关于深入实施 “人工智能 +“ 行动的意见》深度解读
人工智能
Sui_Network23 分钟前
Mysten Labs 与不丹王国政府的创新与技术部携手探索离线区块链
大数据·人工智能·web3·去中心化·区块链
互联科技报26 分钟前
GEO优化工具、AI搜索引擎优化软件平台实测报告:四大平台深度体验与选型指南
大数据·人工智能·搜索引擎
山东小木29 分钟前
AI智能问数(ChatBI)开发框架&解决方案&相关产品
人工智能·chatbi·智能问数·jboltai·javaai·ai问数·ai生图表