【漫话机器学习系列】054.极值（Extrema）

极值（Extrema）

定义

极值是数学分析和优化问题中的一个核心概念，指函数在某个定义域内取得的最大值或最小值。根据极值的性质，可以将其分为两类：

局部极值（Local Extrema）：函数在某点附近的最大值或最小值。
全局极值（Global Extrema）：函数在整个定义域内的最大值或最小值。

数学条件

设函数 f(x) 在点 x = c 处可导，那么：

一阶导数条件 ：
- 如果 f'(c) = 0，则 x = c 是一个极值点的候选点。
二阶导数条件 ：
- 若 f''(c) > 0，则 f(x) 在 x = c 处取得局部极小值。
- 若 f''(c) < 0，则 f(x) 在 x = c 处取得局部极大值。
- 若 f''(c) = 0，无法判断极值，需要更高阶导数或其他方法。

几何解释

在函数图像上：

极大值对应于"峰值"点，图像局部上凸。
极小值对应于"谷底"点，图像局部下凹。

求解方法

解析方法 ：
- 通过求解一阶导数 f'(x) = 0 找到驻点。
- 检查驻点处的二阶导数 f''(x) 或函数变化趋势以确认极值类型。
数值方法 ：
- 使用优化算法（如梯度下降或牛顿法）逼近极值点。

应用场景

优化问题 ：
- 在机器学习中，用于找到损失函数的最小值或最大值。
物理学 ：
- 极值用于确定系统的稳态（如势能最小化）。
经济学 ：
- 极值分析可用于寻找利润最大化或成本最小化的策略。
工程领域 ：
- 用于设计系统的最佳性能或负载条件。

代码示例

以下是 Python 中使用 sympy 计算极值的示例：

python 复制代码

import sympy as sp

# 定义变量和函数
x = sp.Symbol('x')
f = x**3 - 6*x**2 + 9*x + 15

# 求一阶导数和二阶导数
f_prime = sp.diff(f, x)
f_double_prime = sp.diff(f_prime, x)

# 求驻点
critical_points = sp.solve(f_prime, x)

# 判断极值类型
for point in critical_points:
    second_derivative = f_double_prime.subs(x, point)
    if second_derivative > 0:
        print(f"x = {point} 是局部极小值")
    elif second_derivative < 0:
        print(f"x = {point} 是局部极大值")
    else:
        print(f"x = {point} 无法通过二阶导数判断")

运行结果

Matlab 复制代码

x = 1 是局部极大值
x = 3 是局部极小值

总结

极值是分析函数行为的重要工具，广泛应用于优化、建模和决策中。通过数学条件和数值方法，可以有效地识别和验证极值点，从而指导实际问题的求解。