线性可分支持向量机的原理推导 最大化几何间隔d 公式解析

本文是将文章《线性可分支持向量机的原理推导》中的公式单独拿出来做一个详细的解析,便于初学者更好的理解。


公式 9-4 为:

max ⁡ w , b d \max_{\mathbf{w}, b} \quad d w,bmaxd

subject to y i ( w ⋅ x i + b ∥ w ∥ ) ≥ d , i = 1 , 2 , ⋯   , N \text{subject to} \quad y_i \left( \frac{\mathbf{w} \cdot \mathbf{x}_i + b}{\|\mathbf{w}\|} \right) \geq d, \quad i = 1, 2, \cdots, N subject toyi(∥w∥w⋅xi+b)≥d,i=1,2,⋯,N

现在我们来详细解释这个正确的公式 9-4。

1. 公式 9-4 的含义

这个公式描述了支持向量机中的最大化分类间隔 的问题。公式中的目标是最大化几何间隔 d d d,并且所有样本点都必须满足约束条件。具体地:

  • 目标函数 : max ⁡ w , b   d \max_{\mathbf{w}, b} \, d maxw,bd 表示我们希望找到一个使几何间隔 d d d 最大的 w \mathbf{w} w 和 b b b。
  • 约束条件 : y i ( w ⋅ x i + b ∥ w ∥ ) ≥ d y_i \left( \frac{\mathbf{w} \cdot \mathbf{x}_i + b}{\|\mathbf{w}\|} \right) \geq d yi(∥w∥w⋅xi+b)≥d,表示每个样本点 x i \mathbf{x}_i xi 到超平面的几何距离至少为 d d d,同时确保它们被正确分类。
几何间隔解释:

几何间隔是样本点到超平面的距离,在支持向量机中,目标是最大化这个几何间隔,即找到一个最能有效分离不同类别的超平面。

2. 公式推导中的关键

这个公式中的几何间隔 d d d 通过以下方式表示:
w ⋅ x i + b ∥ w ∥ \frac{\mathbf{w} \cdot \mathbf{x}_i + b}{\|\mathbf{w}\|} ∥w∥w⋅xi+b

其中:

  • w ⋅ x i + b \mathbf{w} \cdot \mathbf{x}_i + b w⋅xi+b 表示超平面的分类函数,决定了样本点 x i \mathbf{x}_i xi 与超平面的相对位置。
  • ∥ w ∥ \|\mathbf{w}\| ∥w∥ 是超平面法向量 w \mathbf{w} w 的范数,表示分类超平面的陡峭程度。

通过将样本点的分类函数归一化为 ∥ w ∥ \|\mathbf{w}\| ∥w∥,可以确保公式计算的是几何意义上的实际距离,而不是受法向量大小影响的带符号距离。

3. 约束条件的意义

约束条件:
y i ( w ⋅ x i + b ∥ w ∥ ) ≥ d , i = 1 , 2 , ⋯   , N y_i \left( \frac{\mathbf{w} \cdot \mathbf{x}_i + b}{\|\mathbf{w}\|} \right) \geq d, \quad i = 1, 2, \cdots, N yi(∥w∥w⋅xi+b)≥d,i=1,2,⋯,N

确保了每个样本点 x i \mathbf{x}_i xi 的分类结果与它的真实类别 y i y_i yi 一致。具体来说:

  • 对于 y i = + 1 y_i = +1 yi=+1 的正类样本,约束条件要求 w ⋅ x i + b ≥ ∥ w ∥ d \mathbf{w} \cdot \mathbf{x}_i + b \geq \|\mathbf{w}\| d w⋅xi+b≥∥w∥d,也就是说,正类样本位于超平面的"正侧"且距离至少为 d d d。
  • 对于 y i = − 1 y_i = -1 yi=−1 的负类样本,约束条件要求 w ⋅ x i + b ≤ − ∥ w ∥ d \mathbf{w} \cdot \mathbf{x}_i + b \leq -\|\mathbf{w}\| d w⋅xi+b≤−∥w∥d,负类样本位于超平面的"负侧"且距离至少为 d d d。

因此,这个约束确保了所有样本点不仅被正确分类,而且它们与超平面的距离不小于 d d d。

4. 间隔最大化的思想

支持向量机的核心思想是最大化最小间隔 ,即找到一个超平面,使得最靠近超平面的样本点(即支持向量)到超平面的距离 d d d 尽可能大。在这个公式中,目标是直接最大化这个最小间隔 d d d,在保证分类约束条件的情况下。

5. 公式 9-4 的进一步简化

接下来的推导中,最大化几何间隔 d d d 的优化问题可以进一步简化。因为几何间隔的绝对值 d d d 实际上不会影响问题的求解,因此在后续公式中我们可以假设 d = 1 d = 1 d=1,将问题简化为:
min ⁡ w , b 1 2 ∥ w ∥ 2 \min_{\mathbf{w}, b} \quad \frac{1}{2} \|\mathbf{w}\|^2 w,bmin21∥w∥2

subject to y i ( w ⋅ x i + b ) ≥ 1 , i = 1 , 2 , ⋯   , N \text{subject to} \quad y_i (\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1, \quad i = 1, 2, \cdots, N subject toyi(w⋅xi+b)≥1,i=1,2,⋯,N

这就是支持向量机优化问题的标准形式,即最小化法向量的范数 ∥ w ∥ \|\mathbf{w}\| ∥w∥ 的平方,同时确保所有样本点满足分类约束。

总结

公式 9-4 的目的是最大化几何间隔 d d d,确保每个样本点与超平面的距离至少为 d d d 且被正确分类。这是支持向量机的核心思想,后续通过固定 d = 1 d = 1 d=1 来简化优化问题,从而得到最小化 w \mathbf{w} w 的范数的最终优化形式。

相关推荐
子燕若水1 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室2 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿2 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫2 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手2 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记3 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元3 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术3 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端
超龄超能程序猿4 小时前
(三)PS识别:基于噪声分析PS识别的技术实现
图像处理·人工智能·计算机视觉