KKT条件

KKT条件(Karush--Kuhn--Tucker conditions),约束优化问题的一阶必要条件。

问题

考虑一般约束优化问题
min ⁡ f ( x ) , s.t. c i ( x ) = 0 , i ∈ E , c i ( x ) ⩾ 0 , i ∈ I , \begin{aligned} \min & f(x), \\ \text { s.t. } & c_{i}(x)=0, i \in \mathcal{E}, \\ & c_{i}(x) \geqslant 0, i \in \mathcal{I}, \end{aligned} min s.t. f(x),ci(x)=0,i∈E,ci(x)⩾0,i∈I,

其中, x ∈ R n x \in \mathbb{R}^{n} x∈Rn, f ( x ) ∈ R f(x) \in \mathbb{R} f(x)∈R 为目标函数, c i ( x ) = 0 ( i ∈ E ) 和 c i ( x ) ⩾ 0 ( i ∈ I ) c_{i}(x)=0(i \in \mathcal{E})和 c_{i}(x) \geqslant 0(i \in \mathcal{I}) ci(x)=0(i∈E)和ci(x)⩾0(i∈I)分别为等式约束与不等式约束, E = { 1 , ⋯   , m e } 和 I = { m e + 1 , ⋯   , m } \mathcal{E}=\left\{1, \cdots, m_{e}\right\} 和 \mathcal{I}=\left\{m_{e}+1, \cdots, m\right\} E={1,⋯,me}和I={me+1,⋯,m}分别为等式约束集合和不等式约束集合。

表达式

若 x ∗ x^* x∗为局部最优解,则存在 Lagrange 乘子 λ ∗ ∈ R m \lambda^{*} \in \mathbb{R}^{m} λ∗∈Rm, 使得 x ∗ , λ ∗ x^{*}, \lambda^{*} x∗,λ∗ 满足如下条件:
∇ x L ( x ∗ , λ ∗ ) = 0 ⟹ g ( x ∗ ) = ∑ i = 1 m λ i ∗ a i ( x ∗ ) 梯度条件 c i ( x ∗ ) = 0 , i ∈ E , 原始可行 c i ( x ∗ ) ⩾ 0 , i ∈ I , 原始可行 λ i ∗ ⩾ 0 , i ∈ I , 对偶可行 λ i ∗ c i ( x ∗ ) = 0 , i ∈ E ∪ I , 互补条件 \begin{aligned} & \nabla_{x} L\left(x^{*}, \lambda^{*}\right)=0 \Longrightarrow g\left(x^{*}\right)=\sum_{i=1}^{m} \lambda_{i}^{*} a_{i}\left(x^{*}\right) &\text { 梯度条件} \\ & c_{i}\left(x^{*}\right)=0, i \in \mathcal{E},&\text { 原始可行 } \\ & c_{i}\left(x^{*}\right) \geqslant 0, i \in \mathcal{I},&\text { 原始可行 } \\ & \lambda_{i}^{*} \geqslant 0, \quad i \in \mathcal{I}, &\text { 对偶可行 } \\ & \lambda_{i}^{*} c_{i}\left(x^{*}\right)=0, \quad i \in \mathcal{E} \cup \mathcal{I}, \quad &\text { 互补条件 } \\ \end{aligned} ∇xL(x∗,λ∗)=0⟹g(x∗)=i=1∑mλi∗ai(x∗)ci(x∗)=0,i∈E,ci(x∗)⩾0,i∈I,λi∗⩾0,i∈I,λi∗ci(x∗)=0,i∈E∪I, 梯度条件 原始可行 原始可行 对偶可行 互补条件

其中, L L L是Lagrange函数满足
L ( x , λ ) = f ( x ) − ∑ i = 1 m λ i c i ( x ) L(x, \lambda)=f(x)-\sum_{i=1}^{m} \lambda_{i} c_{i}(x) L(x,λ)=f(x)−i=1∑mλici(x)

相关推荐
SEO_juper13 分钟前
大型语言模型SEO(LLM SEO)完全手册:驾驭搜索新范式
人工智能·语言模型·自然语言处理·chatgpt·llm·seo·数字营销
攻城狮7号1 小时前
腾讯混元翻译模型Hunyuan-MT-7B开源,先前拿了30个冠军
人工智能·hunyuan-mt-7b·腾讯混元翻译模型·30个冠军
zezexihaha1 小时前
从“帮写文案”到“管生活”:个人AI工具的边界在哪?
人工智能
算家云1 小时前
nano banana官方最强Prompt模板来了!六大场景模板详解
人工智能·谷歌·ai大模型·算家云·ai生图·租算力,到算家云·nano banana 提示词
暴躁的大熊1 小时前
AI助力决策:告别生活与工作中的纠结,明析抉择引领明智选择
人工智能
Gyoku Mint1 小时前
提示词工程(Prompt Engineering)的崛起——为什么“会写Prompt”成了新技能?
人工智能·pytorch·深度学习·神经网络·语言模型·自然语言处理·nlp
梁小憨憨1 小时前
zotero扩容
人工智能·笔记
大数据张老师1 小时前
AI架构师的思维方式与架构设计原则
人工智能·架构师·ai架构·后端架构
AKAMAI2 小时前
Entity Digital Sports 降低成本并快速扩展
人工智能·云计算
m0_617663622 小时前
Deeplizard深度学习课程(七)—— 神经网络实验
人工智能·深度学习·神经网络