笔记心得
6.1 间隔与支持向量------ w w w是法向量，垂直与超平面 w T x + b = 0 w^Tx+b=0 wTx+b=0。这一节了解了支持向量机的基本型。
min w , b 1 2 ∣ ∣ w ∣ ∣ 2 s . t . y i ( w T x i + b ) ≥ 1 , i = 1 , 2 , . . . , m . \min_{w,b} \frac{1}{2}||w||^2 \\ s.t. \ \ y_i(w^Tx_i+b) \ge 1, \qquad i=1,2,...,m. w,bmin21∣∣w∣∣2s.t. yi(wTxi+b)≥1,i=1,2,...,m.
6.2 对偶问题------SVM的基本型是一个凸二次规划问题，可以用更高效的方法求解。使用拉格朗日乘子法得到其"对偶问题"。了解了KKT条件，SMO算法。
6.3 核函数------了解了能作为核函数的条件，和常用的核函数。
6.4 软间隔与正则化------这一节主要是讨论缓解过拟合问题。
6.5 支持向量回归------支持向量机解决回归问题。所构建的间隔带两侧松弛程度可不同。
术语学习
课后习题
6.1 试证明样本空间中任意点 x x x到超平面 ( w , b ) (w,b) (w,b)的距离为式 (6.2)。
假设点 x 0 = ( x 1 0 , x 2 0 , . . . , x n 0 ) x_0=(x_1^0,x_2^0,...,x_n^0) x0=(x10,x20,...,xn0)，其在超平面 w T x + b = 0 w^Tx+b=0 wTx+b=0上的投影点为 x 1 = ( x 1 1 , x 2 1 , . . . , x n 1 ) x_1=(x_1^1,x_2^1,...,x_n^1) x1=(x11,x21,...,xn1)，则 w T x 1 + b = 0 w^Tx_1+b=0 wTx1+b=0。
w w w为法向量，因此 x 0 x 1 → \overrightarrow{x_{0}x_{1}} x0x1 与法向量 w w w平行。夹角为0或者 π \pi π
∣ w ⋅ x 0 x 1 → ∣ = ∣ ∣ ∣ w ∣ ∣ ⋅ c o s π ⋅ ∣ ∣ x 0 x 1 → ∣ ∣ ∣ = ∣ ∣ w ∣ ∣ ⋅ ∣ ∣ x 0 x 1 → ∣ ∣ = ∣ ∣ w ∣ ∣ ⋅ r |w\cdot \overrightarrow{x_0x_1}| = |||w|| \cdot cos\pi \cdot ||\overrightarrow{x_0x_1} ||| = ||w|| \cdot ||\overrightarrow{x_0x_1}|| = ||w||\cdot r ∣w⋅x0x1 ∣=∣∣∣w∣∣⋅cosπ⋅∣∣x0x1 ∣∣∣=∣∣w∣∣⋅∣∣x0x1 ∣∣=∣∣w∣∣⋅r
同时
∣ w ⋅ x 0 x 1 → ∣ = ∣ w 1 ( x 1 1 − x 1 0 ) + w 2 ( x 2 1 − x 2 0 ) + . . . + w 1 ( x n 1 − x n 0 ) ∣ = ∣ w 1 x 1 1 + w 2 x 2 1 + . . . + w n x n 1 − ( w 1 x 1 0 + w 2 x 2 0 + . . . + w n x n 0 ) ∣ = ∣ w T x 1 − w T x 0 ∣ = ∣ − b − w T x 0 ∣ = ∣ w T x 0 + b ∣ |w \cdot \overrightarrow{x_0x_1}| \\ =|w_1(x_1^1-x_1^0)+w_2(x_2^1-x_2^0)+...+w_1(x_n^1-x_n^0)| \\ =|w_1x_1^1+w_2x_2^1+...+w_nx_n^1-(w_1x_1^0+w_2x_2^0+...+w_nx_n^0)| \\ =|w^Tx_1-w^Tx_0| \\ =|-b-w^Tx_0| \\ =|w^Tx_0+b| ∣w⋅x0x1 ∣=∣w1(x11−x10)+w2(x21−x20)+...+w1(xn1−xn0)∣=∣w1x11+w2x21+...+wnxn1−(w1x10+w2x20+...+wnxn0)∣=∣wTx1−wTx0∣=∣−b−wTx0∣=∣wTx0+b∣
所以
∣ w T x 0 + b ∣ = ∣ ∣ w ∣ ∣ ⋅ r r = ∣ w T x 0 + b ∣ ∣ ∣ w ∣ ∣ |w^Tx_0+b| = ||w||\cdot r \\ r = \frac{|w^Tx_0+b|}{||w||} ∣wTx0+b∣=∣∣w∣∣⋅rr=∣∣w∣∣∣wTx0+b∣