基本目标
SVM 的目标是在样本空间中找到一个**划分超平面**,将不同类别的样本分开。
理想超平面的特点
对训练样本的**局部扰动**具有最好的"容忍性",即泛化能力强。
优化目标
最大化间隔(margin),即寻找一个使两类样本到超平面距离最大的超平面。
支持向量
指的是那些**距离超平面最近**的样本点,它们决定了超平面的位置和方向。
超平面的数学表示
超平面是 \(n\) 维空间中的一个 \(n-1\) 维子空间。
例如:
三维空间中的超平面是二维平面;
二维空间中的超平面是一维直线。
可以用线性方程表示:\(\mathbf{w} \cdot \mathbf{x} + b = 0\)。
SVM 的优化问题
通过数学优化(如拉格朗日乘子法)求解最优 \(\mathbf{w}\) 和 \(b\),以最大化间隔。