文章目录
前言
总算要对稍微有点难度的地方动手了，前面介绍的线性可分或者线性不可分的情况，都是使用平面作为分割面的，现在我们采用另一种分割面的设计方法，也就是核方法。
核方法涉及的分割面不再是 w x + b = 0 wx+b=0 wx+b=0，而是 f ( x ) = 0 f(x)=0 f(x)=0了。
具体内容
核方法其实就是坐标映射方法，类似于我们进行回归的时候对于反函数曲线采用 y = w x + b y=\frac{w}{x}+b y=xw+b的形式来对数据进行拟合。
我们常用的标准做法都是先将原始数据 x x x映射为 1 x \frac{1}{x} x1，然后对于数据 ( 1 x , y ) (\frac{1}{x},y) (x1,y)寻找线性函数 y = k t + b y=kt+b y=kt+b来拟合。
在非线性支持向量机中，我们需要把原始特征x通过映射函数变换为 ϕ ( x ) \phi(x) ϕ(x)，对于这个映射函数没有什么要求，只不过什么样的映射函数映射以后分类效果最佳是未知的，是需要通过比较才能发现的。
映射函数一般都是把原始特征 x x x变为另一个向量 [ 1 , x 1 , ⋯ , x n , x 1 2 , ⋯ , x i x j , ⋯ , x n 2 , ⋯ ] [1,x_1,\cdots,x_n,x_1^2,\cdots,x_ix_j,\cdots,x_n^2,\cdots] [1,x1,⋯,xn,x12,⋯,xixj,⋯,xn2,⋯]其中的一项或者几项，具体是几项视具体情况确定，这个的目标是保留原始信息同时要增加尽可能多的生成信息，所以一般往高维方向映射。
当然这个函数设计好以后，我们在支持向量机的对偶函数中其实计算的是 K ( x i , x j ) K(x_i,x_j) K(xi,xj)，这个函数是上面映射函数的乘积，可能计算更加复杂，所以从方便对偶函数的计算角度出发，设计了专门的对偶核函数，不过对偶核函数是有要求的，需要对所有特征 x x x所构成的gram矩阵是半正定的。
而这种情况下我们可以设计方便计算的核函数，比如：
多项式核函数： K ( x , z ) = ( x ⋅ z + 1 ) p K(x,z)=(x\cdot z+1)^p K(x,z)=(x⋅z+1)p，计算难度大大减小，而且这个多项式核函数对应的映射函数也比较好求：
K ( x , z ) = ( x ⋅ z + 1 ) 2 = ( x 1 z 1 + x 2 z 2 + 1 ) 2 = x 1 2 z 1 2 + 2 x 1 x 2 z 1 z 2 + 2 x 1 z 1 + x 2 2 z 2 2 + 2 x 2 z 2 + 1 = [ x 1 2 , 2 x 1 x 2 , 2 x 1 , x 2 2 , 2 x 2 , 1 ] ∗ [ z 1 2 , 2 z 1 z 2 , 2 z 1 , z 2 2 , 2 z 2 , 1 ] T \begin{align*} K(x,z)&=(x\cdot z+1)^2\\ &=(x_1z_1+x_2z_2+1)^2\\ &=x_1^2z_1^2+2x_1x_2z_1z_2+2x_1z_1+x_2^2z_2^2+2x_2z_2+1\\ &=[x_1^2,\sqrt{2}x_1x_2,\sqrt{2}x_1,x_2^2,\sqrt{2}x_2,1]*[z_1^2,\sqrt{2}z_1z_2,\sqrt{2}z_1,z_2^2,\sqrt{2}z_2,1]^T \end{align*} K(x,z)=(x⋅z+1)2=(x1z1+x2z2+1)2=x12z12+2x1x2z1z2+2x1z1+x22z22+2x2z2+1=[x12,2 x1x2,2 x1,x22,2 x2,1]∗[z12,2 z1z2,2 z1,z22,2 z2,1]T
相当于截取了泰勒展开式中的前几项。
换句话说，如果我们想将坐标映射为 [ 1 , x 1 , x 2 , x 1 2 , x 1 x 2 , x 2 2 ] [1,x_1,x_2,x_1^2,x_1x_2,x_2^2] [1,x1,x2,x12,x1x2,x22]，然后利用映射后的坐标来计算 w [ 1 , x 1 , x 2 , x 1 2 , x 1 x 2 , x 2 2 ] T + b w[1,x_1,x_2,x_1^2,x_1x_2,x_2^2]^T+b w[1,x1,x2,x12,x1x2,x22]T+b来作为判别函数，那么这个分界面问题的对偶函数中 ϕ ( x i ) ϕ ( x j ) \phi(x_i)\phi(x_j) ϕ(xi)ϕ(xj)就是上面的 ( x ⋅ z + 1 ) p (x\cdot z+1)^p (x⋅z+1)p的形式，也就是我们不用知道中间映射后的坐标，而可以直接计算 ( x i ⋅ x j + 1 ) p (x_i\cdot x_j+1)^p (xi⋅xj+1)p。
高斯核函数; K ( x , z ) = exp ( − ∥ x − z ∥ 2 2 σ 2 ) K(x,z)=\exp(-\frac{{\|x-z\|}^2}{2\sigma^2}) K(x,z)=exp(−2σ2∥x−z∥2)，计算难度大大减小，但是这个核函数对应的映射函数不容易求出来。
K ( x , z ) = exp ( − ( x 1 − z 1 ) 2 + ( x 2 − z 2 ) 2 2 σ 2 ) = exp ( − x 1 2 + z 1 2 − 2 x 1 z 1 + x 2 2 + z 2 2 − 2 x 2 z 2 2 σ 2 ) = exp ( − x 1 2 2 σ 2 ) exp ( − z 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) exp ( − z 2 2 2 σ 2 ) exp ( 2 x 1 z 1 2 σ 2 ) exp ( 2 x 2 z 2 2 σ 2 ) = exp ( − x 1 2 2 σ 2 ) exp ( − z 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) exp ( − z 2 2 2 σ 2 ) [ 1 + 2 x 1 z 1 2 σ 2 + ⋯ + 1 n ! ( 2 x 1 z 1 2 σ 2 ) n + ⋯ ] [ 1 + 2 x 2 z 2 2 σ 2 + ⋯ + 1 n ! ( 2 x 2 z 2 2 σ 2 ) n + ⋯ ] = exp ( − x 1 2 2 σ 2 ) exp ( − z 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) exp ( − z 2 2 2 σ 2 ) [ ∑ t = 0 + ∞ ∑ k = 0 + ∞ 1 t ! ( 2 x 1 z 1 2 σ 2 ) t 1 k ! ( 2 x 2 z 2 2 σ 2 ) k ] = exp ( − x 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) [ 1 , x 1 σ , ⋯ , 1 n ! ( x 1 σ ) n , ⋯ , x 2 σ , x 1 x 2 σ 2 , ⋯ , 1 n ! ( x 1 n x 2 σ n + 1 ) , ⋯ , 1 t ! n ! x 1 t x 2 n σ t + n , ⋯ ] ∗ exp ( − z 1 2 2 σ 2 ) exp ( − z 2 2 2 σ 2 ) [ 1 , z 1 σ , ⋯ , 1 n ! ( z 1 σ ) n , ⋯ , z 2 σ , z 1 z 2 σ 2 , ⋯ , 1 n ! ( z 1 n z 2 σ n + 1 ) , ⋯ , 1 t ! n ! z 1 t z 2 n σ t + n , ⋯ ] \begin{align*} K(x,z)=&\exp(-\frac{(x_1-z_1)^2+(x_2-z_2)^2}{2\sigma^2})\\ =&\exp(-\frac{x_1^2+z_1^2-2x_1z_1+x_2^2+z_2^2-2x_2z_2}{2\sigma^2})\\ =&\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{z_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})\exp(-\frac{z_2^2}{2\sigma^2})\exp(\frac{2x_1z_1}{2\sigma^2})\exp(\frac{2x_2z_2}{2\sigma^2})\\ =&\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{z_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})\exp(-\frac{z_2^2}{2\sigma^2})[1+\frac{2x_1z_1}{2\sigma^2}+\cdots+\frac{1}{n!}(\frac{2x_1z_1}{2\sigma^2})^n+\cdots][1+\frac{2x_2z_2}{2\sigma^2}+\cdots+\frac{1}{n!}(\frac{2x_2z_2}{2\sigma^2})^n+\cdots]\\ =&\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{z_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})\exp(-\frac{z_2^2}{2\sigma^2})[\sum_{t=0}^{+\infty}\sum_{k=0}^{+\infty}\frac{1}{t!}(\frac{2x_1z_1}{2\sigma^2})^t\frac{1}{k!}(\frac{2x_2z_2}{2\sigma^2})^k]\\ =&\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})[1,\frac{x_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma})^n,\cdots,\frac{x_2}{\sigma},\frac{x_1x_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1^nx_2}{\sigma^{n+1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{x_1^tx_2^n}{\sigma^{t+n}},\cdots]*\\ &\exp(-\frac{z_1^2}{2\sigma^2})\exp(-\frac{z_2^2}{2\sigma^2})[1,\frac{z_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{z_1}{\sigma})^n,\cdots,\frac{z_2}{\sigma},\frac{z_1z_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{z_1^nz_2}{\sigma^{n+1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{z_1^tz_2^n}{\sigma^{t+n}},\cdots] \end{align*} K(x,z)======exp(−2σ2(x1−z1)2+(x2−z2)2)exp(−2σ2x12+z12−2x1z1+x22+z22−2x2z2)exp(−2σ2x12)exp(−2σ2z12)exp(−2σ2x22)exp(−2σ2z22)exp(2σ22x1z1)exp(2σ22x2z2)exp(−2σ2x12)exp(−2σ2z12)exp(−2σ2x22)exp(−2σ2z22)[1+2σ22x1z1+⋯+n!1(2σ22x1z1)n+⋯][1+2σ22x2z2+⋯+n!1(2σ22x2z2)n+⋯]exp(−2σ2x12)exp(−2σ2z12)exp(−2σ2x22)exp(−2σ2z22)[t=0∑+∞k=0∑+∞t!1(2σ22x1z1)tk!1(2σ22x2z2)k]exp(−2σ2x12)exp(−2σ2x22)[1,σx1,⋯,n!1 (σx1)n,⋯,σx2,σ2x1x2,⋯,n!1 (σn+1x1nx2),⋯,t!n!1 σt+nx1tx2n,⋯]∗exp(−2σ2z12)exp(−2σ2z22)[1,σz1,⋯,n!1 (σz1)n,⋯,σz2,σ2z1z2,⋯,n!1 (σn+1z1nz2),⋯,t!n!1 σt+nz1tz2n,⋯]
所以两个映射函数分别如上所示：
ϕ ( x ) = exp ( − x 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) [ 1 , x 1 σ , ⋯ , 1 n ! ( x 1 σ ) n , ⋯ , x 2 σ , x 1 x 2 σ 2 , ⋯ , 1 n ! ( x 1 n x 2 σ n + 1 ) , ⋯ , 1 t ! n ! x 1 t x 2 n σ t + n , ⋯ ] \phi(x)=\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})[1,\frac{x_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma})^n,\cdots,\frac{x_2}{\sigma},\frac{x_1x_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1^nx_2}{\sigma^{n+1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{x_1^tx_2^n}{\sigma^{t+n}},\cdots] ϕ(x)=exp(−2σ2x12)exp(−2σ2x22)[1,σx1,⋯,n!1 (σx1)n,⋯,σx2,σ2x1x2,⋯,n!1 (σn+1x1nx2),⋯,t!n!1 σt+nx1tx2n,⋯]
如果只看后面的向量的话，他就是泰勒展开式中各个项，但是它前面还乘上了系数 exp ( − x 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) \exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2}) exp(−2σ2x12)exp(−2σ2x22)缩放了一下。
换句话说，这个映射函数把原始特征映射为了一个无穷维的坐标，我们实际上做的是用这个映射后的坐标 exp ( − x 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) [ 1 , x 1 σ , ⋯ , 1 n ! ( x 1 σ ) n , ⋯ , x 2 σ , x 1 x 2 σ 2 , ⋯ , 1 n ! ( x 1 n x 2 σ n + 1 ) , ⋯ , 1 t ! n ! x 1 t x 2 n σ t + n , ⋯ ] \exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})[1,\frac{x_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma})^n,\cdots,\frac{x_2}{\sigma},\frac{x_1x_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1^nx_2}{\sigma^{n+1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{x_1^tx_2^n}{\sigma^{t+n}},\cdots] exp(−2σ2x12)exp(−2σ2x22)[1,σx1,⋯,n!1 (σx1)n,⋯,σx2,σ2x1x2,⋯,n!1 (σn+1x1nx2),⋯,t!n!1 σt+nx1tx2n,⋯]去构成分界面 w exp ( − x 1 2 2 σ 2 ) exp ( − x 2 2 2 σ 2 ) [ 1 , x 1 σ , ⋯ , 1 n ! ( x 1 σ ) n , ⋯ , x 2 σ , x 1 x 2 σ 2 , ⋯ , 1 n ! ( x 1 n x 2 σ n + 1 ) , ⋯ , 1 t ! n ! x 1 t x 2 n σ t + n , ⋯ ] + b w\exp(-\frac{x_1^2}{2\sigma^2})\exp(-\frac{x_2^2}{2\sigma^2})[1,\frac{x_1}{\sigma},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1}{\sigma})^n,\cdots,\frac{x_2}{\sigma},\frac{x_1x_2}{\sigma^2},\cdots,\sqrt{\frac{1}{n!}}(\frac{x_1^nx_2}{\sigma^{n+1}}),\cdots,\sqrt{\frac{1}{t!n!}}\frac{x_1^tx_2^n}{\sigma^{t+n}},\cdots]+b wexp(−2σ2x12)exp(−2σ2x22)[1,σx1,⋯,n!1 (σx1)n,⋯,σx2,σ2x1x2,⋯,n!1 (σn+1x1nx2),⋯,t!n!1 σt+nx1tx2n,⋯]+b作为分界面，其中 w w w为无穷维向量，那么这个分界面问题的对偶函数中 ϕ ( x i ) ϕ ( x j ) \phi(x_i)\phi(x_j) ϕ(xi)ϕ(xj)就是上面的 exp ( − ( x 1 − z 1 ) 2 + ( x 2 − z 2 ) 2 2 σ 2 ) \exp(-\frac{(x_1-z_1)^2+(x_2-z_2)^2}{2\sigma^2}) exp(−2σ2(x1−z1)2+(x2−z2)2)的形式，也就是我们不用知道中间映射后的坐标，而可以直接计算 exp ( − ( x 1 − z 1 ) 2 + ( x 2 − z 2 ) 2 2 σ 2 ) \exp(-\frac{(x_1-z_1)^2+(x_2-z_2)^2}{2\sigma^2}) exp(−2σ2(x1−z1)2+(x2−z2)2)。