本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析，便于初学者更好的理解。
公式 9-4 为：
max w , b d \max_{\mathbf{w}, b} \quad d w,bmaxd
subject to y i ( w ⋅ x i + b ∥ w ∥ ) ≥ d , i = 1 , 2 , ⋯ , N \text{subject to} \quad y_i \left( \frac{\mathbf{w} \cdot \mathbf{x}_i + b}{\|\mathbf{w}\|} \right) \geq d, \quad i = 1, 2, \cdots, N subject toyi(∥w∥w⋅xi+b)≥d,i=1,2,⋯,N
现在我们来详细解释这个正确的公式 9-4。
1. 公式 9-4 的含义
这个公式描述了支持向量机中的最大化分类间隔 的问题。公式中的目标是最大化几何间隔 d d d，并且所有样本点都必须满足约束条件。具体地：
- 目标函数 ： max w , b d \max_{\mathbf{w}, b} \, d maxw,bd 表示我们希望找到一个使几何间隔 d d d 最大的 w \mathbf{w} w 和 b b b。
- 约束条件 ： y i ( w ⋅ x i + b ∥ w ∥ ) ≥ d y_i \left( \frac{\mathbf{w} \cdot \mathbf{x}_i + b}{\|\mathbf{w}\|} \right) \geq d yi(∥w∥w⋅xi+b)≥d，表示每个样本点 x i \mathbf{x}_i xi 到超平面的几何距离至少为 d d d，同时确保它们被正确分类。
几何间隔解释：
几何间隔是样本点到超平面的距离，在支持向量机中，目标是最大化这个几何间隔，即找到一个最能有效分离不同类别的超平面。
2. 公式推导中的关键
这个公式中的几何间隔 d d d 通过以下方式表示：
w ⋅ x i + b ∥ w ∥ \frac{\mathbf{w} \cdot \mathbf{x}_i + b}{\|\mathbf{w}\|} ∥w∥w⋅xi+b
其中：
- w ⋅ x i + b \mathbf{w} \cdot \mathbf{x}_i + b w⋅xi+b 表示超平面的分类函数，决定了样本点 x i \mathbf{x}_i xi 与超平面的相对位置。
- ∥ w ∥ \|\mathbf{w}\| ∥w∥ 是超平面法向量 w \mathbf{w} w 的范数，表示分类超平面的陡峭程度。
通过将样本点的分类函数归一化为 ∥ w ∥ \|\mathbf{w}\| ∥w∥，可以确保公式计算的是几何意义上的实际距离，而不是受法向量大小影响的带符号距离。
3. 约束条件的意义
约束条件：
y i ( w ⋅ x i + b ∥ w ∥ ) ≥ d , i = 1 , 2 , ⋯ , N y_i \left( \frac{\mathbf{w} \cdot \mathbf{x}_i + b}{\|\mathbf{w}\|} \right) \geq d, \quad i = 1, 2, \cdots, N yi(∥w∥w⋅xi+b)≥d,i=1,2,⋯,N
确保了每个样本点 x i \mathbf{x}_i xi 的分类结果与它的真实类别 y i y_i yi 一致。具体来说：
- 对于 y i = + 1 y_i = +1 yi=+1 的正类样本，约束条件要求 w ⋅ x i + b ≥ ∥ w ∥ d \mathbf{w} \cdot \mathbf{x}_i + b \geq \|\mathbf{w}\| d w⋅xi+b≥∥w∥d，也就是说，正类样本位于超平面的"正侧"且距离至少为 d d d。
- 对于 y i = − 1 y_i = -1 yi=−1 的负类样本，约束条件要求 w ⋅ x i + b ≤ − ∥ w ∥ d \mathbf{w} \cdot \mathbf{x}_i + b \leq -\|\mathbf{w}\| d w⋅xi+b≤−∥w∥d，负类样本位于超平面的"负侧"且距离至少为 d d d。
因此，这个约束确保了所有样本点不仅被正确分类，而且它们与超平面的距离不小于 d d d。
4. 间隔最大化的思想
支持向量机的核心思想是最大化最小间隔 ，即找到一个超平面，使得最靠近超平面的样本点（即支持向量）到超平面的距离 d d d 尽可能大。在这个公式中，目标是直接最大化这个最小间隔 d d d，在保证分类约束条件的情况下。
5. 公式 9-4 的进一步简化
接下来的推导中，最大化几何间隔 d d d 的优化问题可以进一步简化。因为几何间隔的绝对值 d d d 实际上不会影响问题的求解，因此在后续公式中我们可以假设 d = 1 d = 1 d=1，将问题简化为：
min w , b 1 2 ∥ w ∥ 2 \min_{\mathbf{w}, b} \quad \frac{1}{2} \|\mathbf{w}\|^2 w,bmin21∥w∥2
subject to y i ( w ⋅ x i + b ) ≥ 1 , i = 1 , 2 , ⋯ , N \text{subject to} \quad y_i (\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1, \quad i = 1, 2, \cdots, N subject toyi(w⋅xi+b)≥1,i=1,2,⋯,N
这就是支持向量机优化问题的标准形式，即最小化法向量的范数 ∥ w ∥ \|\mathbf{w}\| ∥w∥ 的平方，同时确保所有样本点满足分类约束。
总结
公式 9-4 的目的是最大化几何间隔 d d d，确保每个样本点与超平面的距离至少为 d d d 且被正确分类。这是支持向量机的核心思想，后续通过固定 d = 1 d = 1 d=1 来简化优化问题，从而得到最小化 w \mathbf{w} w 的范数的最终优化形式。