支持向量机SVM

赵孝正2024-10-09 11:27

通过一条直线将两类数据分开，并且当有新的数据加入时，通过该条直线就能判别其属于哪一类

为了区分两类数据，N为数据的样本数，M为维度数，如何设计一个维度为M-1的超平面，将两类数据分割开，

W可以理解为X对应的权重，

下面以2维空间为例，找到那条分割线

缓冲区足够大，可信度就足够高了。

寻找最佳决策边界的问题，可以转化为求解两类数据最大间隔问题 ，而间隔的正中央，就是我们的决策边界。当有新数据需要判断时，计算它与决策边界的相对位置，就可以分类了。

上图中 1 和 -1 就是对应的正负超平面。最终只需要求解W、B，得到下面3个超平面方程式。

当有异常值的时候

同时考虑收入和成本因素，去最大化我们的利润。这个最优解下形成的间隔，我们称之为软间隔

在间隔距离和错误大小之间找到一个平衡。
硬间隔

升维度，然后进行分类

核技巧

参考资料

1\] [支持向量机SVM是什么，八分钟直觉理解其本质](https://www.bilibili.com/video/BV16T4y1y7qj/?spm_id_from=333.337.search-card.all.click&vd_source=b5e395daf1dc59fb72b2633affa96661) 2022.1；