【机器学习之---数学】拉格朗日乘子法

every blog every motto: You can do more than you think.
https://blog.csdn.net/weixin_39190382?type=blog

0. 前言

优化之

拉格朗日乘子法

1. 概念

拉格朗日乘子法是一种将约束优化问题转化为无约束优化问题的方法,如下面的优化问题:

m i n f ( x ) s . t . g ( x ) = 0 minf(\pmb{x}) \quad s.t. g(\pmb{x}) = 0 minf(x)s.t.g(x)=0

s.t. 是subject to 的缩写,意思是,受限于,即,约束条件

因为有约束存在,无法方便求解,但是如果通过引入拉格朗日函数,

L ( x , λ ) = f ( x ) + λ g ( x ) L(\pmb{x},\lambda) = f(\pmb{x}) + \lambda g(\pmb{x}) L(x,λ)=f(x)+λg(x)

这样函数L就没有约束了,其中, λ \lambda λ称为拉格朗日乘子。原问题可以转化为无约束优化问题:

{ ∇ x L ( x , λ ) = 0 g ( x ) = 0 \left\{ \begin{matrix} \nabla_xL(\pmb{x},\lambda) = 0 \\ g(\pmb{x}) = 0 \end{matrix} \right. {∇xL(x,λ)=0g(x)=0

第一行是 ∇ x L \nabla_xL ∇xL 即L对 x \pmb{x} x的各个分量偏导都等于0,

第二行是 L L L对 λ \lambda λ的偏导等于0,这样我们就将原问题转化为无约束优化问题。

但注意此方程组只是必要条件,即这个方程组求出来的解不一定都是最优解(例如存在鞍点),但是最优解一定在里面。在一些特殊情况下,如f是凸函数,这个方程组的解就才一定是最优解。

2. 理解

为什么最优解在 ∇ x L ( x , λ ) = 0 , g ( x ) = 0 \nabla_xL(\pmb{x},\lambda) = 0 ,\quad g(\pmb{x}) = 0 ∇xL(x,λ)=0,g(x)=0解集中呢?,不妨考虑如下问题:

m i n f ( x 1 , x 2 ) s . t . g ( x 1 , x 2 ) = 0 minf(x_1,x_2) \quad s.t. g(x_1,x_2)=0 minf(x1,x2)s.t.g(x1,x2)=0

目标函数 f ( x 1 , x 2 ) f(x_1,x_2) f(x1,x2) 是曲面,在xy中用等高线表示,g(x_1,x_2)是曲线,在xy中用黄线表示,

仔细想想可以发现:我们所求的在黄线约束 g ( x 1 , x 2 ) = 0 g(x_1,x_2) = 0 g(x1,x2)=0

下的最优点P一定是约束曲线g=0与目标函数f的某一条等值线的切点,也就是最优点P处约束曲线的法向量 ∇ g \nabla g ∇g

一定与该处的目标函数的梯度

共线(同向或反向,因为

的方向可正可负)。如下图所示:

如果不共线?

如下图所示,假设最优点P处,目标函数梯度 ∇ f \nabla f ∇f

与约束的法向量 ∇ g \nabla g ∇g 不共线,因此负梯度 − ∇ f -\nabla f −∇f

(表示f下降最快的方向)与 ∇ g \nabla g ∇g也不会共线,这样一来负梯度 − ∇ f -\nabla f −∇f 在约束曲线g 上的切向上就存在 紫色的分量

,这就表明黄线上的P点沿此方向再挪一点,目标函数值还能进一步下降,所以当前的P点并不是最优点,与假设矛盾。

故,可用如下数学表达式:

∃ λ ∈ R , 使得, ∇ f + λ ∇ g = 0 \exists \lambda \in R,使得,\nabla f+ \lambda \nabla g = 0 ∃λ∈R,使得,∇f+λ∇g=0

所以拉格朗日乘子 λ \lambda λ就是待求的一个伸缩系数,令 L ( x , λ ) = f ( x ) + λ g ( x ) L(x,\lambda) = f(x) +\lambda g(x) L(x,λ)=f(x)+λg(x)后,
∇ x L ( x , λ ) = ∇ x f ( x ) + λ ∇ x g ( x ) = 0 \nabla_xL(x,\lambda) = \nabla_xf(x) + \lambda \nabla_xg(x) = 0 ∇xL(x,λ)=∇xf(x)+λ∇xg(x)=0

同时, g ( x ) = 0 g(x)=0 g(x)=0

参考

  1. https://zhuanlan.zhihu.com/p/440297403
  2. https://zhuanlan.zhihu.com/p/154517678
相关推荐
java1234_小锋8 分钟前
Scikit-learn Python机器学习 - 特征预处理 - 标准化 (Standardization):StandardScaler
python·机器学习·scikit-learn
TDengine (老段)1 小时前
从 ETL 到 Agentic AI:工业数据管理变革与 TDengine IDMP 的治理之道
数据库·数据仓库·人工智能·物联网·时序数据库·etl·tdengine
蓝桉8022 小时前
如何进行神经网络的模型训练(视频代码中的知识点记录)
人工智能·深度学习·神经网络
星期天要睡觉2 小时前
深度学习——数据增强(Data Augmentation)
人工智能·深度学习
南山二毛3 小时前
机器人控制器开发(导航算法——导航栈关联坐标系)
人工智能·架构·机器人
大数据张老师4 小时前
【案例】AI语音识别系统的标注分区策略
人工智能·系统架构·语音识别·架构设计·后端架构
xz2024102****4 小时前
吴恩达机器学习合集
人工智能·机器学习
anneCoder4 小时前
AI大模型应用研发工程师面试知识准备目录
人工智能·深度学习·机器学习
骑驴看星星a4 小时前
没有深度学习
人工智能·深度学习
youcans_4 小时前
【医学影像 AI】YoloCurvSeg:仅需标注一个带噪骨架即可实现血管状曲线结构分割
人工智能·yolo·计算机视觉·分割·医学影像