#最优化基础（四）[1](#1)
##凸集与凸函数
定义 : 设集合 D ⊂ R n D\subset \mathbb{R}^n D⊂Rn. 称集合 D D D为凸集, 是指对任意的 x , y ∈ D x,y\in D x,y∈D及任意的实数 λ ∈ [ 0 , 1 ] \lambda \in[0,1] λ∈[0,1], 都有 λ x + ( 1 − λ ) y ∈ D \lambda x+(1-\lambda)y\in D λx+(1−λ)y∈D.
定义 : 集合 D ⊂ R n D\subset \mathbb{R}^n D⊂Rn 的凸包(convex hull) 是指所有包含 D D D 的凸集的交集，记为
c o n v ( D ) : = ∩ C ⊇ D C \mathrm{conv}(D):=\underset{C\supseteq D}{\cap}C conv(D):=C⊇D∩C
其中 C C C为凸集
定义 : 设非空集合 C ⊂ R n C\subset\mathbb{R}^n C⊂Rn. 若对任意的 x ∈ C x\in C x∈C 和任意的实数 λ > 0 \lambda >0 λ>0，有 λ x ∈ C \lambda x\in C λx∈C, 则称 C C C 为一个锥(cone). 若 C C C 同时也是凸集, 则称 C C C为一个凸锥(convex cone). 此外, 对于锥 C C C, 若 0 ∈ C 0\in C 0∈C, 则称 C C C 是一个尖锥(pointed cone). 相应地, 包含0 的凸锥称为尖凸锥.****
定义 :设函数 f : D ⊂ R n → R f:D\subset\mathbb{R}^n\rightarrow\mathbb{R} f:D⊂Rn→R, 其中 D D D 为凸集.
(1) 称 f f f 是 D D D上的凸函数, 是指对任意的 x , y ∈ D x,y\in D x,y∈D及任意的实数 λ ∈ [ 0 , 1 ] \lambda \in[0,1] λ∈[0,1], 都有
f ( λ x + ( 1 − λ ) y ) ≤ λ f ( x ) + ( 1 − λ ) f ( y ) f(\lambda x+(1-\lambda)y) \leq \lambda f(x)+(1-\lambda)f(y) f(λx+(1−λ)y)≤λf(x)+(1−λ)f(y)
(2) 称 f f f是 D D D上的严格凸函数, 是指对任意的 x , y ∈ D , x ≠ y x,y\in D, x\neq y x,y∈D,x=y及任意的实数 λ ∈ [ 0 , 1 ] \lambda \in[0,1] λ∈[0,1], 都有
f ( λ x + ( 1 − λ ) y ) < λ f ( x ) + ( 1 − λ ) f ( y ) f(\lambda x+(1-\lambda)y) < \lambda f(x)+(1-\lambda)f(y) f(λx+(1−λ)y)<λf(x)+(1−λ)f(y)
(3) 称 f f f是 D D D 上的一致凸函数, 是指存在常数 γ > 0 \gamma >0 γ>0, 使对任意的 x , y ∈ D x,y\in D x,y∈D 及任意的实数 λ ∈ [ 0 , 1 ] \lambda\in[0,1] λ∈[0,1], 都有
f ( λ x + ( 1 − λ ) y ) + 1 2 λ ( 1 − λ ) γ ∥ x − y ∥ 2 ≤ λ f ( x ) + ( 1 − λ ) f ( y ) f(\lambda x+(1-\lambda)y) +\frac{1}{2}\lambda(1-\lambda)\gamma\|x-y\|^2 \leq \lambda f(x)+(1-\lambda)f(y) f(λx+(1−λ)y)+21λ(1−λ)γ∥x−y∥2≤λf(x)+(1−λ)f(y)
定理 : 设 f f f 在凸集 D ⊂ R n D\subset \mathbb{R}^n D⊂Rn 上一阶连续可微，则
(1) f f f在 D D D上为凸函数的充要条件是
f ( x ) ≥ f ( x ∗ ) + ∇ f ( x ∗ ) T ( x − x ∗ ) , ∀ x ∗ , x ∈ D f(x)\geq f(x^*)+\nabla f(x^*)^T(x-x^*),\quad \forall x^*,x\in D f(x)≥f(x∗)+∇f(x∗)T(x−x∗),∀x∗,x∈D
(2) f f f在 D D D上为严格凸函数的充要条件是，当 x ≠ y x\neq y x=y时，成立
f ( x ) > f ( x ∗ ) + ∇ f ( x ∗ ) T ( x − x ∗ ) , ∀ x ∗ , x ∈ D f(x) > f(x^*)+\nabla f(x^*)^T(x-x^*),\quad \forall x^*,x\in D f(x)>f(x∗)+∇f(x∗)T(x−x∗),∀x∗,x∈D
(3) f f f在 D D D上一致凸的充要条件是,存在常数 c > 0 c>0 c>0，使对任意的 x ∗ , x ∈ D x^*,x\in D x∗,x∈D，成立
f ( x ) ≥ f ( x ∗ ) + ∇ f ( x ∗ ) T ( x − x ∗ ) + c ∥ x − x ∗ ∥ 2 f(x)\geq f(x^*)+\nabla f(x^*)^T(x-x^*)+c\|x-x^*\|^2 f(x)≥f(x∗)+∇f(x∗)T(x−x∗)+c∥x−x∗∥2
定义 : 设 n n n元实函数 f f f 在凸集 D D D上是二阶连续可微的. 若对一切 h ∈ R n h\in\mathbb{R}^n h∈Rn, 有 h T ∇ 2 f ( x ) h ≥ 0 h^T\nabla^2f(x)h \geq 0 hT∇2f(x)h≥0，则称 ∇ 2 f \nabla^2f ∇2f 在点 x x x处是半正定的. 若对一切 0 ≠ h ∈ R n 0\neq h\in\mathbb{R}^n 0=h∈Rn, 有 h T ∇ 2 f ( x ) h > 0 h^T\nabla^2f(x)h > 0 hT∇2f(x)h>0，则称 ∇ 2 f \nabla^2f ∇2f 在点 x x x处是正定的. 进一步，若存在常数 c > 0 c>0 c>0, 使得对任意的 h ∈ R n , x ∈ D h\in\mathbb{R}^n,x\in D h∈Rn,x∈D, 有 h T ∇ 2 f ( x ) h ≥ c ∥ h ∥ 2 h^T\nabla^2f(x)h \geq c\|h\|^2 hT∇2f(x)h≥c∥h∥2，则称 ∇ 2 f \nabla ^2f ∇2f 在 D D D 上是一致正定的.****
定理 :设 n n n 元实函数 f f f 在凸集 D ⊂ R n D\subset\mathbb{R}^n D⊂Rn上二阶连续可微, 则
(1) f f f 在 D D D上是凸的充要条件是 ∇ 2 f ( x ) \nabla^2f(x) ∇2f(x) 对一切 x ∈ D x\in D x∈D为半正定；
(2) f f f在 D D D 上是严格凸的充分条件是 ∇ 2 f ( x ) \nabla^2f(x) ∇2f(x) 对一切 x ∈ D x\in D x∈D 为正定；
(3) f f f 在 D D D 上是一致凸的充要条件是 ∇ 2 f ( x ) \nabla^2f(x) ∇2f(x) 对一切 x ∈ D x\in D x∈D 为一致正定.
注意， ∇ 2 f \nabla^2f ∇2f 正定是 f f f 严格凸的充分条件而非必要条件.
- 马昌凤. 最优化方法及其Matlab程序设计[M]. 科学出版社, 2010. ↩︎