支持向量机（SVM）例题

对于图中所示的线性可分的20个样本数据，利用支持向量机进行预测分类，有三个支持向量 A ( 0 , 2 ) A(0, 2) A(0,2)、 B ( 2 , 0 ) B(2, 0) B(2,0) 和 C ( − 1 , − 1 ) C(-1, -1) C(−1,−1)。

1. 求支持向量机的线性判别函数。
2. 删除点 A 后，支持向量是否变化?

求解：

1. 三个点，建立联立方程组：
   { w 1 x A + w 2 y A + b = 1 w 1 x B + w 2 y B + b = 1 w 1 x C + w 2 y C + b = − 1 \begin{cases} w_1 x_A + w_2 y_A + b &= 1 \\ w_1 x_B + w_2 y_B + b &= 1 \\ w_1 x_C + w_2 y_C + b &= -1 \\ \end{cases} ⎩ ⎨ ⎧w1xA+w2yA+bw1xB+w2yB+bw1xC+w2yC+b=1=1=−1

x A y A 1 x B y B 1 x C y C 1 w 1 w 2 b = 1 − 1 − 1 \begin{bmatrix} x_A & y_A & 1 \\ x_B & y_B & 1 \\ x_C & y_C & 1 \\ \end{bmatrix} \begin{bmatrix} w_1 \\ w_2 \\ b \\ \end{bmatrix}=\begin{bmatrix} 1 \\ -1 \\ -1 \\ \end{bmatrix} xAxBxCyAyByC111 w1w2b = 1−1−1

求解
w 1 = 0.5 w 2 = 0.5 b = 0 \begin{align*} w_1 &= 0.5 \\ w_2 &= 0.5 \\ b &= 0 \\ \end{align*} w1w2b=0.5=0.5=0

线性判别函数
f ( x ) = 0.5 x + 0.5 y f(x) = 0.5x + 0.5y f(x)=0.5x+0.5y

2. 变化