支持向量机是什么？
支持向量机是一种用于分类的机器学习算法。它的任务是根据一些已知的数据点，找到一个最佳的"分隔线"，把不同类别的数据点分开。这个分隔线就像一条直线或一个平面，把数据空间分成两个部分，每个部分包含一种类别的数据点.
为什么叫"支持向量"？
在所有可能的分隔线中，有一些数据点离分隔线最近，这些点就是"支持向量"。它们决定了分隔线的位置和方向。如果这些点稍微移动一下，分隔线也会跟着移动。所以，这些点就像在"支持"着这条线，这就是"支持向量"的由来.
如何找到最佳分隔线？
为了找到最佳的分隔线，我们需要考虑两个因素：
- 正确分类：分隔线必须把不同类别的数据点正确分开。
- 最大间隔：分隔线两侧的间隔（即支持向量到分隔线的距离）要尽可能大，这样可以提高分类的准确性.
公式解释
假设我们有一些数据点 ( x_i )，每个点都有一个标签 ( y_i )，表示它是哪一类（比如红色为1，蓝色为-1）.
我们用一个线性函数 (
f ( x ) = w ⋅ x + b f(x) = w \cdot x + b f(x)=w⋅x+b
) 来表示分隔线，其中 ( w ) 是一个向量，( b ) 是一个常数.
为了找到最佳的 ( w ) 和 ( b )，我们需要解决以下优化问题：
最大化 2 ∥ w ∥ \\text{最大化} \\quad \\frac{2}{\\\|w\\\|} 最大化∥w∥2
约束条件 y i ( w ⋅ x i + b ) ≥ 1 \\text{约束条件} \\quad y_i (w \\cdot x_i + b) \\geq 1 \\ 约束条件yi(w⋅xi+b)≥1
-
最大化间隔 ：(
2 ∥ w ∥ \frac{2}{\|w\|} ∥w∥2) 表示分隔线两侧的间隔，我们希望这个间隔尽可能大.
-
约束条件 ：(
y i ( w ⋅ x i + b ) ≥ 1 y_i (w \cdot x_i + b) \geq 1 yi(w⋅xi+b)≥1) 确保每个数据点 ( x_i ) 被正确分类，并且离分隔线的距离至少为1.
总结
支持向量机通过找到一个最佳的分隔线来区分不同类别的数据点。它利用支持向量来确定分隔线的位置和方向，并通过优化问题来最大化类别之间的间隔，从而提高分类的准确性。希望这个解释能帮助你更好地理解支持向量机！
支持向量机（SVM）的优化问题
为了求解支持向量机（SVM）的优化问题，我们使用拉格朗日乘子法。这个问题可以表示为：
最大化 2 ∥ w ∥ \\text{最大化} \\quad \\frac{2}{\\\|w\\\|} 最大化∥w∥2
约束条件 y i ( w ⋅ x i + b ) ≥ 1 \\text{约束条件} \\quad y_i (w \\cdot x_i + b) \\geq 1 约束条件yi(w⋅xi+b)≥1
首先，我们转换最大化问题为最小化问题，因为拉格朗日乘子法通常用于最小化问题。我们最小化 (
1 2 ∥ w ∥ 2 \frac{1}{2} \|w\|^2 21∥w∥2
) 而不是 (
2 ∥ w ∥ \frac{2}{\|w\|} ∥w∥2
)，因为这两个问题在 ( w ) 上是等价的。
所以，我们的优化问题变为：
最小化 1 2 ∥ w ∥ 2 \\text{最小化} \\quad \\frac{1}{2} \\\|w\\\|\^2 \\ 最小化21∥w∥2
约束条件 y i ( w ⋅ x i + b ) ≥ 1 \\text{约束条件} \\quad y_i (w \\cdot x_i + b) \\geq 1 约束条件yi(w⋅xi+b)≥1
接下来，我们引入拉格朗日乘子 (
α i \alpha_i αi
) 来处理约束条件。拉格朗日函数 ( L ) 定义为：
L ( w , b , α ) = 1 2 ∥ w ∥ 2 − ∑ i = 1 n α i \[ y i ( w ⋅ x i + b ) − 1 \] L(w, b, \\alpha) = \\frac{1}{2} \\\|w\\\|\^2 - \\sum_{i=1}\^n \\alpha_i \[y_i (w \\cdot x_i + b) - 1\] L(w,b,α)=21∥w∥2−i=1∑nαi\[yi(w⋅xi+b)−1
]
其中 (
α i ≥ 0 \alpha_i \geq 0 αi≥0
) 是拉格朗日乘子。
为了找到 ( w ) 和 ( b ) 的最优值，我们需要对 ( L ) 关于 ( w ) 和 ( b ) 求偏导数，并令其等于零：
∂ L ∂ w = w − ∑ i = 1 n α i y i x i = 0 \\frac{\\partial L}{\\partial w} = w - \\sum_{i=1}\^n \\alpha_i y_i x_i = 0 \\ ∂w∂L=w−i=1∑nαiyixi=0
∂ L ∂ b = − ∑ i = 1 n α i y i = 0 \\frac{\\partial L}{\\partial b} = -\\sum_{i=1}\^n \\alpha_i y_i = 0 ∂b∂L=−i=1∑nαiyi=0
从第一个方程中，我们得到：
w = ∑ i = 1 n α i y i x i w = \\sum_{i=1}\^n \\alpha_i y_i x_i w=i=1∑nαiyixi
从第二个方程中，我们得到：
∑ i = 1 n α i y i = 0 \\sum_{i=1}\^n \\alpha_i y_i = 0 \\ i=1∑nαiyi=0
现在，我们将 ( w ) 的表达式代入拉格朗日函数 ( L )，得到关于 ( \alpha ) 的对偶问题：
L ( α ) = 1 2 ( ∑ i = 1 n α i y i x i ) ⋅ ( ∑ j = 1 n α j y j x j ) − ∑ i = 1 n α i \[ y i ( w ⋅ x i + b ) − 1 \] L(\\alpha) = \\frac{1}{2} \\left( \\sum_{i=1}\^n \\alpha_i y_i x_i \\right) \\cdot \\left( \\sum_{j=1}\^n \\alpha_j y_j x_j \\right) - \\sum_{i=1}\^n \\alpha_i \[y_i (w \\cdot x_i + b) - 1\] L(α)=21(i=1∑nαiyixi)⋅(j=1∑nαjyjxj)−i=1∑nαi\[yi(w⋅xi+b)−1
]
L ( α ) = 1 2 ∑ i = 1 n ∑ j = 1 n α i α j y i y j ( x i ⋅ x j ) − ∑ i = 1 n α i \[ y i ( ∑ j = 1 n α j y j x j ⋅ x i + b ) − 1 \] L(\\alpha) = \\frac{1}{2} \\sum_{i=1}\^n \\sum_{j=1}\^n \\alpha_i \\alpha_j y_i y_j (x_i \\cdot x_j) - \\sum_{i=1}\^n \\alpha_i \[y_i (\\sum_{j=1}\^n \\alpha_j y_j x_j \\cdot x_i + b) - 1\] L(α)=21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)−i=1∑nαi\[yi(j=1∑nαjyjxj⋅xi+b)−1
]
L ( α ) = 1 2 ∑ i = 1 n ∑ j = 1 n α i α j y i y j ( x i ⋅ x j ) − ∑ i = 1 n α i y i ( ∑ j = 1 n α j y j x j ⋅ x i + b ) + ∑ i = 1 n α i L(\\alpha) = \\frac{1}{2} \\sum_{i=1}\^n \\sum_{j=1}\^n \\alpha_i \\alpha_j y_i y_j (x_i \\cdot x_j) - \\sum_{i=1}\^n \\alpha_i y_i (\\sum_{j=1}\^n \\alpha_j y_j x_j \\cdot x_i + b) + \\sum_{i=1}\^n \\alpha_i L(α)=21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)−i=1∑nαiyi(j=1∑nαjyjxj⋅xi+b)+i=1∑nαi
L ( α ) = 1 2 ∑ i = 1 n ∑ j = 1 n α i α j y i y j ( x i ⋅ x j ) − ∑ i = 1 n ∑ j = 1 n α i α j y i y j ( x i ⋅ x j ) − ∑ i = 1 n α i y i b + ∑ i = 1 n α i L(\\alpha) = \\frac{1}{2} \\sum_{i=1}\^n \\sum_{j=1}\^n \\alpha_i \\alpha_j y_i y_j (x_i \\cdot x_j) - \\sum_{i=1}\^n \\sum_{j=1}\^n \\alpha_i \\alpha_j y_i y_j (x_i \\cdot x_j) - \\sum_{i=1}\^n \\alpha_i y_i b + \\sum_{i=1}\^n \\alpha_i L(α)=21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)−i=1∑nj=1∑nαiαjyiyj(xi⋅xj)−i=1∑nαiyib+i=1∑nαi
L ( α ) = − 1 2 ∑ i = 1 n ∑ j = 1 n α i α j y i y j ( x i ⋅ x j ) + ∑ i = 1 n α i L(\\alpha) = -\\frac{1}{2} \\sum_{i=1}\^n \\sum_{j=1}\^n \\alpha_i \\alpha_j y_i y_j (x_i \\cdot x_j) + \\sum_{i=1}\^n \\alpha_i \\ L(α)=−21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)+i=1∑nαi
因此，对偶问题为：
最大化 L ( α ) = ∑ i = 1 n α i − 1 2 ∑ i = 1 n ∑ j = 1 n α i α j y i y j ( x i ⋅ x j ) \\text{最大化} \\quad L(\\alpha) = \\sum_{i=1}\^n \\alpha_i - \\frac{1}{2} \\sum_{i=1}\^n \\sum_{j=1}\^n \\alpha_i \\alpha_j y_i y_j (x_i \\cdot x_j) 最大化L(α)=i=1∑nαi−21i=1∑nj=1∑nαiαjyiyj(xi⋅xj)
约束条件 α i ≥ 0 \\text{约束条件} \\quad \\alpha_i \\geq 0 约束条件αi≥0
约束条件 ∑ i = 1 n α i y i = 0 \\text{约束条件} \\quad \\sum_{i=1}\^n \\alpha_i y_i = 0 约束条件i=1∑nαiyi=0
通过求解这个对偶问题，我们可以找到 (
α i \alpha_i αi
) 的值。然后，我们可以使用 (
w = ∑ i = 1 n α i y i x i w = \sum_{i=1}^n \alpha_i y_i x_i w=i=1∑nαiyixi
) 来找到 ( w ) 的值。最后，我们可以通过选择一个支持向量 ( x_i ) 并使用 (
y i ( w ⋅ x i + b ) = 1 y_i (w \cdot x_i + b) = 1 yi(w⋅xi+b)=1
) 来找到 ( b ) 的值。
这样，我们就找到了 ( w ) 和 ( b ) 的最优值，从而得到了 SVM 的分隔线 (
f ( x ) = w ⋅ x + b f(x) = w \cdot x + b f(x)=w⋅x+b
)。