支持向量机 - 技术栈

什么是SVM？

支持向量机是一种监督学习算法，主要用于分类和回归任务。它通过找到数据点之间的最优边界（称为超平面）来进行分类，这一边界能够最大化不同类别之间的间隔。

分类原理

支持向量机（support vector machines，SVM）是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题。支持向量机的主要方法是：多维空间中，在最大化最小间隔的基础上，通过不断更新参数，求得一个最优超平面来进行分类。此时，超平面分割两个类别的距离达到最大值，且该超平面是唯一存在的。下图为通过超平面划分的支持向量机的示意图：

如图，其中虚线上的点就算支持向量，它们是到超平面最近的点，两条虚线H1 ，H2 之间的距离称为间隔，该间隔依赖于法向量w，等于。实线就是分离超平面，其公式为：

其中w=( w 1 ， w 2 ， w 3 ， ... w n *)*是支持向量机中切割超平面进行划分的法向量。定义向量空间中每个点到超平面的几何间隔和最小几何间隔分别为：

如果超平面能将训练样本正确分类，对于某个样本点，若则有；若，则有。于是对于分类正确的样本点，有

通过最大化最小间隔，并保证正确分类的情况下，构造出了如下模型：

通过上述模型求得最优解w * ， b *，即可求得分离超平面。

回归原理

支持向量回归（Support Vector Regression, SVR）是一种基于支持向量机（SVM）发展起来的回归分析方法。与SVM用于分类问题不同，SVR主要用于解决回归问题。SVR的核心思想是在特征空间中找到一个最优超平面，使得所有数据点尽可能接近该超平面，并且误差在一个容忍范围内。

SVR通过引入损失函数和松弛变量来实现对误差的控制。具体来说，SVR的目标是找到一个函数：

使得对于所有的训练数据点*(* x i*,* y i) ，预测值f( x i) 与真实值yi 之间的误差不超过一个给定的阈值ϵ，即满足条件：

如果误差超过 𝜖，则会引入松弛变量 ξ i 和 ξ i ***来度量超过部分。

SVR的优化目标可以表示为：

其中，C是一个常数，表示对误差的惩罚程度；ξ i 和ξ i* 是松弛变量，用于允许部分数据点的预测误差超过ϵ。

通过上述优化问题，SVR能够求得最优的参数 𝑤 和 𝑏，从而得到一个回归模型，该模型在保证尽可能小的误差的同时，也保持了模型的简洁性和鲁棒性。SVR在处理高维数据和非线性回归问题时表现尤为突出，常常通过引入核函数将非线性问题转换为线性问题来解决。

SVM与SVR的区别在于：SVM是最大化分类间隔。SVM 的目标是找到一个能将数据点准确分类且间隔最大的超平面；SVR是最小化回归误差。SVR 的目标是找到一个回归函数，使得大多数数据点的预测误差在 epsilon 范围内，并且在允许误差超过 epsilon 的情况下，惩罚这些超出误差的点。下图展示了SVM与SVR的差别。