【漫话机器学习系列】054.极值(Extrema)

极值(Extrema)

定义

极值是数学分析和优化问题中的一个核心概念,指函数在某个定义域内取得的最大值或最小值。根据极值的性质,可以将其分为两类:

  1. 局部极值(Local Extrema):函数在某点附近的最大值或最小值。
  2. 全局极值(Global Extrema):函数在整个定义域内的最大值或最小值。

分类
  1. 局部极大值(Local Maximum)
    • 若在点 x = a 附近存在某邻域,使得对任意 x 在该邻域内,满足 f(x) ≤ f(a),则称 f(a) 是局部极大值。
  2. 局部极小值(Local Minimum)
    • 若在点 x = a 附近存在某邻域,使得对任意 x 在该邻域内,满足 f(x) ≥ f(a),则称 f(a) 是局部极小值。
  3. 全局极大值(Global Maximum)
    • 若对于函数定义域内的所有 x,都满足 f(x) ≤ f(a),则称 f(a) 是全局极大值。
  4. 全局极小值(Global Minimum)
    • 若对于函数定义域内的所有 xxx,都满足 f(x) ≥ f(a),则称 f(a) 是全局极小值。

数学条件

设函数 f(x) 在点 x = c 处可导,那么:

  1. 一阶导数条件
    • 如果 f'(c) = 0,则 x = c 是一个极值点的候选点。
  2. 二阶导数条件
    • 若 f''(c) > 0,则 f(x) 在 x = c 处取得局部极小值。
    • 若 f''(c) < 0,则 f(x) 在 x = c 处取得局部极大值。
    • 若 f''(c) = 0,无法判断极值,需要更高阶导数或其他方法。

几何解释

在函数图像上:

  • 极大值对应于"峰值"点,图像局部上凸。
  • 极小值对应于"谷底"点,图像局部下凹。

求解方法
  1. 解析方法
    • 通过求解一阶导数 f'(x) = 0 找到驻点。
    • 检查驻点处的二阶导数 f''(x) 或函数变化趋势以确认极值类型。
  2. 数值方法
    • 使用优化算法(如梯度下降或牛顿法)逼近极值点。

应用场景
  1. 优化问题
    • 在机器学习中,用于找到损失函数的最小值或最大值。
  2. 物理学
    • 极值用于确定系统的稳态(如势能最小化)。
  3. 经济学
    • 极值分析可用于寻找利润最大化或成本最小化的策略。
  4. 工程领域
    • 用于设计系统的最佳性能或负载条件。

代码示例

以下是 Python 中使用 sympy 计算极值的示例:

python 复制代码
import sympy as sp

# 定义变量和函数
x = sp.Symbol('x')
f = x**3 - 6*x**2 + 9*x + 15

# 求一阶导数和二阶导数
f_prime = sp.diff(f, x)
f_double_prime = sp.diff(f_prime, x)

# 求驻点
critical_points = sp.solve(f_prime, x)

# 判断极值类型
for point in critical_points:
    second_derivative = f_double_prime.subs(x, point)
    if second_derivative > 0:
        print(f"x = {point} 是局部极小值")
    elif second_derivative < 0:
        print(f"x = {point} 是局部极大值")
    else:
        print(f"x = {point} 无法通过二阶导数判断")
运行结果
Matlab 复制代码
x = 1 是局部极大值
x = 3 是局部极小值

总结

极值是分析函数行为的重要工具,广泛应用于优化、建模和决策中。通过数学条件和数值方法,可以有效地识别和验证极值点,从而指导实际问题的求解。

相关推荐
whabc1007 分钟前
和鲸社区深度学习基础训练营2025年关卡2(2)sklearn中的MLPClassifier
人工智能·深度学习·numpy
往日情怀酿做酒 V176392963830 分钟前
pytorch的介绍以及张量的创建
人工智能·pytorch·python
北辰alk42 分钟前
如何实现AI多轮对话功能及解决对话记忆持久化问题
人工智能
智驱力人工智能42 分钟前
极端高温下的智慧出行:危险检测与救援
人工智能·算法·安全·行为识别·智能巡航·高温预警·高温监测
AI_Keymaker1 小时前
技术不再是阻碍,这是属于产品和运营的时代?
机器学习
Leo.yuan1 小时前
数据分析师如何构建自己的底层逻辑?
大数据·数据仓库·人工智能·数据挖掘·数据分析
笑稀了的野生俊1 小时前
ImportError: /lib/x86_64-linux-gnu/libc.so.6: version GLIBC_2.32‘ not found
linux·人工智能·ubuntu·大模型·glibc·flash-attn
吕永强1 小时前
意识边界的算法战争—脑机接口技术重构人类认知的颠覆性挑战
人工智能·科普
二二孚日1 小时前
自用华为ICT云赛道AI第三章知识点-昇腾芯片硬件架构,昇腾芯片软件架构
人工智能·华为
蹦蹦跳跳真可爱5892 小时前
Python----OpenCV(几何变换--图像平移、图像旋转、放射变换、图像缩放、透视变换)
开发语言·人工智能·python·opencv·计算机视觉