【机器学习之---数学】拉格朗日乘子法

every blog every motto: You can do more than you think.
https://blog.csdn.net/weixin_39190382?type=blog

0. 前言

优化之

拉格朗日乘子法

1. 概念

拉格朗日乘子法是一种将约束优化问题转化为无约束优化问题的方法,如下面的优化问题:

m i n f ( x ) s . t . g ( x ) = 0 minf(\pmb{x}) \quad s.t. g(\pmb{x}) = 0 minf(x)s.t.g(x)=0

s.t. 是subject to 的缩写,意思是,受限于,即,约束条件

因为有约束存在,无法方便求解,但是如果通过引入拉格朗日函数,

L ( x , λ ) = f ( x ) + λ g ( x ) L(\pmb{x},\lambda) = f(\pmb{x}) + \lambda g(\pmb{x}) L(x,λ)=f(x)+λg(x)

这样函数L就没有约束了,其中, λ \lambda λ称为拉格朗日乘子。原问题可以转化为无约束优化问题:

{ ∇ x L ( x , λ ) = 0 g ( x ) = 0 \left\{ \begin{matrix} \nabla_xL(\pmb{x},\lambda) = 0 \\ g(\pmb{x}) = 0 \end{matrix} \right. {∇xL(x,λ)=0g(x)=0

第一行是 ∇ x L \nabla_xL ∇xL 即L对 x \pmb{x} x的各个分量偏导都等于0,

第二行是 L L L对 λ \lambda λ的偏导等于0,这样我们就将原问题转化为无约束优化问题。

但注意此方程组只是必要条件,即这个方程组求出来的解不一定都是最优解(例如存在鞍点),但是最优解一定在里面。在一些特殊情况下,如f是凸函数,这个方程组的解就才一定是最优解。

2. 理解

为什么最优解在 ∇ x L ( x , λ ) = 0 , g ( x ) = 0 \nabla_xL(\pmb{x},\lambda) = 0 ,\quad g(\pmb{x}) = 0 ∇xL(x,λ)=0,g(x)=0解集中呢?,不妨考虑如下问题:

m i n f ( x 1 , x 2 ) s . t . g ( x 1 , x 2 ) = 0 minf(x_1,x_2) \quad s.t. g(x_1,x_2)=0 minf(x1,x2)s.t.g(x1,x2)=0

目标函数 f ( x 1 , x 2 ) f(x_1,x_2) f(x1,x2) 是曲面,在xy中用等高线表示,g(x_1,x_2)是曲线,在xy中用黄线表示,

仔细想想可以发现:我们所求的在黄线约束 g ( x 1 , x 2 ) = 0 g(x_1,x_2) = 0 g(x1,x2)=0

下的最优点P一定是约束曲线g=0与目标函数f的某一条等值线的切点,也就是最优点P处约束曲线的法向量 ∇ g \nabla g ∇g

一定与该处的目标函数的梯度

共线(同向或反向,因为

的方向可正可负)。如下图所示:

如果不共线?

如下图所示,假设最优点P处,目标函数梯度 ∇ f \nabla f ∇f

与约束的法向量 ∇ g \nabla g ∇g 不共线,因此负梯度 − ∇ f -\nabla f −∇f

(表示f下降最快的方向)与 ∇ g \nabla g ∇g也不会共线,这样一来负梯度 − ∇ f -\nabla f −∇f 在约束曲线g 上的切向上就存在 紫色的分量

,这就表明黄线上的P点沿此方向再挪一点,目标函数值还能进一步下降,所以当前的P点并不是最优点,与假设矛盾。

故,可用如下数学表达式:

∃ λ ∈ R , 使得, ∇ f + λ ∇ g = 0 \exists \lambda \in R,使得,\nabla f+ \lambda \nabla g = 0 ∃λ∈R,使得,∇f+λ∇g=0

所以拉格朗日乘子 λ \lambda λ就是待求的一个伸缩系数,令 L ( x , λ ) = f ( x ) + λ g ( x ) L(x,\lambda) = f(x) +\lambda g(x) L(x,λ)=f(x)+λg(x)后,
∇ x L ( x , λ ) = ∇ x f ( x ) + λ ∇ x g ( x ) = 0 \nabla_xL(x,\lambda) = \nabla_xf(x) + \lambda \nabla_xg(x) = 0 ∇xL(x,λ)=∇xf(x)+λ∇xg(x)=0

同时, g ( x ) = 0 g(x)=0 g(x)=0

参考

  1. https://zhuanlan.zhihu.com/p/440297403
  2. https://zhuanlan.zhihu.com/p/154517678
相关推荐
陈纬度啊3 分钟前
自动驾驶ROS2应用技术详解
人工智能·自动驾驶·unix
开开心心_Every30 分钟前
全能视频处理工具介绍说明
开发语言·人工智能·django·pdf·flask·c#·音视频
xunberg35 分钟前
AI Agent 实战:将 Node-RED 创建的 MCP 设备服务接入 Dify
人工智能·mcp
江瀚视野36 分钟前
美团即时零售日订单突破1.2亿,即时零售生态已成了?
大数据·人工智能·零售
KaneLogger1 小时前
AI模型与产品推荐清单20250709版
人工智能·程序员·开源
中电金信1 小时前
中电金信 :十问高质量数据集:金融大模型价值重塑有“据”可循
人工智能·金融
吕永强1 小时前
算法化资本——智能投顾技术重构金融生态的深度解析
人工智能·科普
新智元2 小时前
奥特曼:再也不和小扎说话!OpenAI 偷袭小扎马斯克,反手挖 4 核心员工
人工智能·openai
新智元2 小时前
CS 专业爆冷,失业率达艺术史 2 倍!年入千万只需 5 年,大学却在禁 Cursor
人工智能·openai
代码能跑就行管它可读性2 小时前
【论文复现】利用生成式AI进行选股和分配权重
人工智能·chatgpt