【1】引言
前序学习进程中，对软边界拉格朗日方程进行了初步构建。
其中约定了两个拉格朗日乘子要非负，其本质是要满足KKT条件。
今天就乘此次机会，在回顾一下KKT条件。
【2】定义
当问题无约束的时候，只要让函数梯度为零，就可以判定此处有极值点。当有约束存在时，梯度为零条件不再适用。
KKT条件适用的优化问题为：
目标函数最小化， min f ( x ) \min f(x) minf(x)
不等式约束： g i ( x ) ≤ 0 ( i = 1 , 2 , . . . , m ) g_{i}(x)\leq 0 (i=1,2,...,m) gi(x)≤0(i=1,2,...,m)
等式约束：h_{j}(x)= 0 (j=1,2,...,p)
其中， x ∈ R n x\in R^n x∈Rn是自变量， f , g i , h j f,g_{i},h_{j} f,gi,hj均为连续可微函数。
如果 x ∗ x* x∗是局部最优解，且满足约束规范，比如Slater条件，则存在拉格朗日乘子 λ i ≥ 0 , μ \lambda_{i}\geq 0,\mu λi≥0,μ分别对应 g i , h j g_{i},h_{j} gi,hj，使得以下条件同时成立。
首先是目标函数与约束函数的梯度通过乘子线性组合为零，也就是梯度平衡 ：
∇ f ( x ∗ ) + ∑ i = 1 m λ i ∇ g i ( x ∗ ) + ∑ j = 1 p μ j ∇ h j ( x ∗ ) = 0 \nabla f(x^{*})+\sum_{i=1}^{m}\lambda_{i}\nabla g_{i}(x^{*})+\sum_{j=1}^{p}\mu_{j}\nabla h_{j}(x^{*})=0 ∇f(x∗)+i=1∑mλi∇gi(x∗)+j=1∑pμj∇hj(x∗)=0
需要说明的是，不等式约束乘子非负，且满足 λ i ⋅ g i ( x ∗ ) = 0 ( i = 1 , 2 , . . . , m ) \lambda_{i}\cdot g_{i}(x^{*})=0(i=1,2,...,m) λi⋅gi(x∗)=0(i=1,2,...,m)
上述公式在 x ∗ x^* x∗是最优解时一定满足。
当 g i ( x ∗ ) < 0 g_{i}(x^{*})<0 gi(x∗)<0时，实际上就在不等式约束内部，相当于无用约束，此时 λ i = 0 \lambda_{i}=0 λi=0，所以 λ i ⋅ g i ( x ∗ ) = 0 \lambda_{i} \cdot g_{i}(x^{*})=0 λi⋅gi(x∗)=0；
当 g i ( x ∗ ) = 0 g_{i}(x^{*})=0 gi(x∗)=0时，此时来到了不等式约束边缘，为了实现取极值，一定会满足梯度平衡，可参考拉格朗日乘数法加深理解，此时必有： ∇ f ( x ∗ ) + ∑ i = 1 m λ i ∇ g i ( x ∗ ) = 0 \nabla f(x^{*})+\sum_{i=1}^{m}\lambda_{i}\nabla g_{i}(x^{*})=0 ∇f(x∗)+i=1∑mλi∇gi(x∗)=0因为 g i ( x ∗ ) = 0 g_{i}(x^{*})=0 gi(x∗)=0所以 λ i ⋅ g i ( x ∗ ) = 0 \lambda_{i}\cdot g_{i}(x^{*})=0 λi⋅gi(x∗)=0。
下图可做辅助理解。
【3】总结
回顾了KKT条件的基本定义内容。