支持向量机是什么?
支持向量机是一种用于分类的机器学习算法。它的任务是根据一些已知的数据点,找到一个最佳的"分隔线",把不同类别的数据点分开。这个分隔线就像一条直线或一个平面,把数据空间分成两个部分,每个部分包含一种类别的数据点.
为什么叫"支持向量"?
在所有可能的分隔线中,有一些数据点离分隔线最近,这些点就是"支持向量"。它们决定了分隔线的位置和方向。如果这些点稍微移动一下,分隔线也会跟着移动。所以,这些点就像在"支持"着这条线,这就是"支持向量"的由来.
如何找到最佳分隔线?
为了找到最佳的分隔线,我们需要考虑两个因素:
- 正确分类:分隔线必须把不同类别的数据点正确分开。
- 最大间隔:分隔线两侧的间隔(即支持向量到分隔线的距离)要尽可能大,这样可以提高分类的准确性.
公式解释
假设我们有一些数据点 ( x_i ),每个点都有一个标签 ( y_i ),表示它是哪一类(比如红色为1,蓝色为-1).
我们用一个线性函数 (
f ( x ) = w ⋅ x + b f(x) = w \cdot x + b f(x)=w⋅x+b
) 来表示分隔线,其中 ( w ) 是一个向量,( b ) 是一个常数.
为了找到最佳的 ( w ) 和 ( b ),我们需要解决以下优化问题:
最大化 2 ∥ w ∥ \\text{最大化} \\quad \\frac{2}{\\\|w\\\|} 最大化∥w∥2
约束条件 y i ( w ⋅ x i + b ) ≥ 1 \\text{约束条件} \\quad y_i (w \\cdot x_i + b) \\geq 1 \\ 约束条件yi(w⋅xi+b)≥1
-
最大化间隔 :(
2 ∥ w ∥ \frac{2}{\|w\|} ∥w∥2) 表示分隔线两侧的间隔,我们希望这个间隔尽可能大.
-
约束条件 :(
y i ( w ⋅ x i + b ) ≥ 1 y_i (w \cdot x_i + b) \geq 1 yi(w⋅xi+b)≥1) 确保每个数据点 ( x_i ) 被正确分类,并且离分隔线的距离至少为1.
总结
支持向量机通过找到一个最佳的分隔线来区分不同类别的数据点。它利用支持向量来确定分隔线的位置和方向,并通过优化问题来最大化类别之间的间隔,从而提高分类的准确性。希望这个解释能帮助你更好地理解支持向量机!
支持向量机(SVM)的优化问题
为了求解支持向量机(SVM)的优化问题,我们使用拉格朗日乘子法。这个问题可以表示为:
最大化 2 ∥ w ∥ \\text{最大化} \\quad \\frac{2}{\\\|w\\\|} 最大化∥w∥2
约束条件 y i ( w ⋅ x i + b ) ≥ 1 \\text{约束条件} \\quad y_i (w \\cdot x_i + b) \\geq 1 约束条件yi(w⋅xi+b)≥1
首先,我们转换最大化问题为最小化问题,因为拉格朗日乘子法通常用于最小化问题。我们最小化 (
1 2 ∥ w ∥ 2 \frac{1}{2} \|w\|^2 21∥w∥2
) 而不是 (
2 ∥ w ∥ \frac{2}{\|w\|} ∥w∥2
),因为这两个问题在 ( w ) 上是等价的。
所以,我们的优化问题变为:
最小化 1 2 ∥ w ∥ 2 \\text{最小化} \\quad \\frac{1}{2} \\\|w\\\|\^2 \\ 最小化21∥w∥2
约束条件 y i ( w ⋅ x i + b ) ≥ 1 \\text{约束条件} \\quad y_i (w \\cdot x_i + b) \\geq 1 约束条件yi(w⋅xi+b)≥1
接下来,我们引入拉格朗日乘子 (
α i \alpha_i αi
) 来处理约束条件。拉格朗日函数 ( L ) 定义为:
L ( w , b , α ) = 1 2 ∥ w ∥ 2 − ∑ i = 1 n α i \[ y i ( w ⋅ x i + b ) − 1 \] L(w, b, \\alpha) = \\frac{1}{2} \\\|w\\\|\^2 - \\sum_{i=1}\^n \\alpha_i \[y_i (w \\cdot x_i + b) - 1\] L(w,b,α)=21∥w∥2−i=1∑nαi\[yi(w⋅xi+b)−1
]
其中 (
α i ≥ 0 \alpha_i \geq 0 αi≥0
) 是拉格朗日乘子。
为了找到 ( w ) 和 ( b ) 的最优值,我们需要对 ( L ) 关于 ( w ) 和 ( b ) 求偏导数,并令其等于零:
∂ L ∂ w = w − ∑ i = 1 n α i y i x i = 0 \\frac{\\partial L}{\\partial w} = w - \\sum_{i=1}\^n \\alpha_i y_i x_i = 0 \\ ∂w∂L=w−i=1∑nαiyixi=0
∂ L ∂ b = − ∑ i = 1 n α i y i = 0 \\frac{\\partial L}{\\partial b} = -\\sum_{i=1}\^n \\alpha_i y_i = 0 ∂b∂L=−i=1∑nαiyi=0
从第一个方程中,我们得到:
w = ∑ i = 1 n α i y i x i w = \\sum_{i=1}\^n \\alpha_i y_i x_i w=i=1∑nαiyixi
从第二个方程中,我们得到:
∑ i = 1 n α i y i = 0 \\sum_{i=1}\^n \\alpha_i y_i = 0 \\ i=1∑nαiyi=0
现在,我们将 ( w ) 的表达式代入拉格朗日函数 ( L ),得到关于 ( \alpha ) 的对偶问题:
L ( α ) = 1 2 ( ∑ i = 1 n α i y i x i ) ⋅ ( ∑ j = 1 n α j y j x j ) − ∑ i = 1 n α i \[ y i ( w ⋅ x i + b ) − 1 \] L(\\alpha) = \\frac{1}{2} \\left( \\sum_{i=1}\^n \\alpha_i y_i x_i \\right) \\cdot \\left( \\sum_{j=1}\^n \\alpha_j y_j x_j \\right) - \\sum_{i=1}\^n \\alpha_i \[y_i (w \\cdot x_i + b) - 1\] L(α)=21(i=1∑nαiyixi)⋅(j=1∑nαjyjxj)−i=1∑nαi\[yi(w⋅xi+b)−1
]
L ( α ) = 1 2 ∑ i = 1 n ∑ j = 1 n α i α j y i y j ( x i ⋅ x j ) − ∑ i = 1 n α i \[ y i ( ∑ j = 1 n α j y j x j ⋅ x i + b ) − 1 \] L(\\alpha) = \\frac{1}{2} \\sum_{i=1}\^n \\sum_{j=1}\^n \\alpha_i \\alpha_j y_i y_j (x_i \\cdot x_j) - \\sum_{i=1}\^n \\alpha_i \[y_i (\\sum_{j=1}\^n \\alpha_j y_j x_j \\cdot x_i + b) - 1\] L(α)=21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)−i=1∑nαi\[yi(j=1∑nαjyjxj⋅xi+b)−1
]
L ( α ) = 1 2 ∑ i = 1 n ∑ j = 1 n α i α j y i y j ( x i ⋅ x j ) − ∑ i = 1 n α i y i ( ∑ j = 1 n α j y j x j ⋅ x i + b ) + ∑ i = 1 n α i L(\\alpha) = \\frac{1}{2} \\sum_{i=1}\^n \\sum_{j=1}\^n \\alpha_i \\alpha_j y_i y_j (x_i \\cdot x_j) - \\sum_{i=1}\^n \\alpha_i y_i (\\sum_{j=1}\^n \\alpha_j y_j x_j \\cdot x_i + b) + \\sum_{i=1}\^n \\alpha_i L(α)=21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)−i=1∑nαiyi(j=1∑nαjyjxj⋅xi+b)+i=1∑nαi
L ( α ) = 1 2 ∑ i = 1 n ∑ j = 1 n α i α j y i y j ( x i ⋅ x j ) − ∑ i = 1 n ∑ j = 1 n α i α j y i y j ( x i ⋅ x j ) − ∑ i = 1 n α i y i b + ∑ i = 1 n α i L(\\alpha) = \\frac{1}{2} \\sum_{i=1}\^n \\sum_{j=1}\^n \\alpha_i \\alpha_j y_i y_j (x_i \\cdot x_j) - \\sum_{i=1}\^n \\sum_{j=1}\^n \\alpha_i \\alpha_j y_i y_j (x_i \\cdot x_j) - \\sum_{i=1}\^n \\alpha_i y_i b + \\sum_{i=1}\^n \\alpha_i L(α)=21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)−i=1∑nj=1∑nαiαjyiyj(xi⋅xj)−i=1∑nαiyib+i=1∑nαi
L ( α ) = − 1 2 ∑ i = 1 n ∑ j = 1 n α i α j y i y j ( x i ⋅ x j ) + ∑ i = 1 n α i L(\\alpha) = -\\frac{1}{2} \\sum_{i=1}\^n \\sum_{j=1}\^n \\alpha_i \\alpha_j y_i y_j (x_i \\cdot x_j) + \\sum_{i=1}\^n \\alpha_i \\ L(α)=−21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)+i=1∑nαi
因此,对偶问题为:
最大化 L ( α ) = ∑ i = 1 n α i − 1 2 ∑ i = 1 n ∑ j = 1 n α i α j y i y j ( x i ⋅ x j ) \\text{最大化} \\quad L(\\alpha) = \\sum_{i=1}\^n \\alpha_i - \\frac{1}{2} \\sum_{i=1}\^n \\sum_{j=1}\^n \\alpha_i \\alpha_j y_i y_j (x_i \\cdot x_j) 最大化L(α)=i=1∑nαi−21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)
约束条件 α i ≥ 0 \\text{约束条件} \\quad \\alpha_i \\geq 0 约束条件αi≥0
约束条件 ∑ i = 1 n α i y i = 0 \\text{约束条件} \\quad \\sum_{i=1}\^n \\alpha_i y_i = 0 约束条件i=1∑nαiyi=0
通过求解这个对偶问题,我们可以找到 (
α i \alpha_i αi
) 的值。然后,我们可以使用 (
w = ∑ i = 1 n α i y i x i w = \sum_{i=1}^n \alpha_i y_i x_i w=i=1∑nαiyixi
) 来找到 ( w ) 的值。最后,我们可以通过选择一个支持向量 ( x_i ) 并使用 (
y i ( w ⋅ x i + b ) = 1 y_i (w \cdot x_i + b) = 1 yi(w⋅xi+b)=1
) 来找到 ( b ) 的值。
这样,我们就找到了 ( w ) 和 ( b ) 的最优值,从而得到了 SVM 的分隔线 (
f ( x ) = w ⋅ x + b f(x) = w \cdot x + b f(x)=w⋅x+b
)。