支持向量机(SVM)

一. 什么是SVM

1. 简介

SVM,曾经是一个特别火爆的概念。它的中文名:支持向量机(Support Vector Machine, 简称SVM)。因为它红极一时,所以关于它的资料特别多,而且杂乱。虽然如此,只要把握住SVM的一些特点,至少可以做到思路清晰。

(1)首先,SVM是按照监督类学习方式进行运作的。即:数据当中含有目标值。

(2)SVM采用监督学习方式,对数据进行二分类(这点跟逻辑回归一样)。但是,SVM和逻辑回归(LR)有有很多不同点。我们先看看相同点:

  • 二者都是线性分类器
  • 二者都是监督学习算法
  • 都属于判别模型(KNN, SVM, LR都属于判别模型),所谓判别模型就是指:通过决策函数,判别各个样本之间的差别来进行分类。

不同点就很多了,现在先列举一些,LR之前已经介绍过,关于SVM的具体理论先放到后面

  • 二者的损失函数和目标函数不一样。

  • 二者对数据和参数的敏感度不同。SVM由于采用了类似于"过度边界"的方式,泛化能力更好

SVM可以作线性分类器,但是在引入核函数(Kernel Method)之后,也可以进行非线性分类

2.SVM分类

SVM大体上可分为:

  • 线性可分SVM:大体就是指一条线,把样本分成两份这种,我们会先从这个入手,这个相关理论懂了,后面的就会很简单
  • 线性SVM
  • 非线性SVM(需要核函数的支持)

二. 详细介绍

1. 线性可分SVM

1.1 支撑点,支撑向量

这个将作为重点来理解,这个相关理论知道了,那么,剩下的就很好理解,首先,我们先看一张图,然后我们根据这张图引出两个概念:支撑点,支撑向量。

图一

我们看看图上面的三条线,首先,这是个二维平面,因此分割线可以表示成线性函数的形式:

关于w,它其实是一个权值向量,它可以表示成如下的形式,至于说为什么能够这么表示,我们一会儿再说。

在上图中,两个虚线之间,我们可以当做一个"过度区域",在虚线上面,有一个蓝色的点,和两个红色的点正好位于虚线上面。对于这3个样本,我们标号1,2,3。我们大可以让alpha1,alpha2, alpha3不为0,其他的点alpha都是0。为什么可以这么做呢?因为边界的划定,也就是虚线,只受这三个边界点的影响(即:影响w向量)我们在现实中直接调整这三个边界点的alpha值,就可以确定界限。那么这三个点,我们就可以称他们为:**支撑点 **

如果你确定了一个起始点,那么起始点到各个点之间可以组成向量,这个起始点到支撑点之间就可以组成一个个:支撑向量

1.2 分割超平面与间隔最大化

首先,我们得知道什么是超平面?一般来说,二维就可以组成一个平面,那么如果是多维的呢?一般把超过二维的,就叫做超平面。由于超平面本身超出了一般人的认知,所以我们在理解分割超平面的时候,还是以最简单的二维平面入手,然后进行扩展。

在了解了什么是超平面之后,我们看这样一个图:

在这幅图中,我们看到了如此多的分割线,这些分割线都成功的把黑点和白点给区分开了。即:都把类别给分对了。那么,哪条线才是最优的呢?(如何分割超平面,就是解决这个问题)

我们就直接在二维空间一个基本问题入手:点到直线的距离入手。

我们假设有这么一条线:

再给定一个点(x0, y0)那么这个点到直线的距离就是:

然后我们在此基础上直接把分子的绝对值给去掉,去掉之后,运算结果就会有正负之分了,通过正负,可以判断这个点在这条直线的哪一侧。然后各个项给拆开如下:

我们令各项系数分别记为:A', B' C'。然后整个公式就可以写成向量相乘的形式:

我们直接把(A',B')记为wi向量,将后面的(x0,y0)记为x向量 C'可以记为b,于是就得到了上述式子。

在这个例子当中,只是给了一个二维平面,实际情况下,有可能是多维的。此时w向量也是多维的,可以记为w = (w1,w2,w3......wn),其中这里的w1, w2对应的就是上面式子当中的A, B。我们再回过头看点到直线距离公式,看看那个分母。大致就可以猜出来一件事情:在多维空间中一个点到一个线的距离是:

此时,我们再看看图一。注意,图一两条虚线线等号后面分别是+1,-1,为啥是这个呢?

假设我划分了一个线,那么显然,每一个点到这个线都会有一个距离,按照上面这个式子,求出来的距离是带有符号的,这个时候就体现出这个1,-1的价值。这个1,-1,也是y(i)值。如果,求出的是正的,那么乘以1,就是距离本身,如果d为负值,那么乘以-1,又转回正的,还是距离。这就是为什么真正的距离会写成

那么,我所有点,都跟这个直线求一个距离,最后取一个最小值。

我跟所有的直线,都做上面这个操作,就会得到若干个这样的最小值,然后我取最小值最大的那个直线,就是最优解。即:

对于这个方式,有一个很直观的名字:间隔最大化

以上就是对分割超平面的一种直观的解释的一个解释。如果扩展到多维,即:超平面,很多时候,我们就不能用单纯一个x向量来解释了。其实,二维当中y与x是线性关系,也是一种映射关系。在多维平面当中,这种映射往往比较复杂,因此,扩展之后,我们会把间隔最大化的线写成如下形式:

其中,φ(x)是某个确定的特征空间转换函数,它的作用是将x映射到(更高的)维度。而在最简单的二维平面中φ(x)=x

由于在线性可分SVM是用来做分类问题,最基本的就是用来做二分类问题,所以,还要把上面这个式子映射到一个只有两个取值的函数当中,这就是线性可分SVM的决策函数:

1.3 线性可分SVM的目标函数以及相关算法

我们在图一当中,知道,虚线部分的y值取1,或者-1。但实际上,支撑点可不一定满足这个条件,类似的例子,可以举出无数个。因此,对于目标函数的构建,我们首先就要考虑一个问题:缩放。

根据题设,我们有一个间隔最大化的函数:

我们要让y(x)满足这个条件:

我们对w和b进行等比缩放,就得到了(回过头看看公式(一)):

于是,把这个与公式二结合起来看,我们就得到了目标函数:

缩放的理论知道了,我们下一步,就是想,怎么能让那个y值是1。对于分类来说,就是让各个类别的点,尽量远离过渡区域,也就是说,这些点离分割线的距离要大于或者等于1,这样才达到分类目的,如下图所示:那个margin大于1,分类才越准确。

用符号表示就是:

通过等比例缩放w的方法,使得两类点的函数值都满足| y |≥1

然后,我们把间隔函数代入:

(公式三)

那么,我们就可继续用拉格朗日乘数法进行求解,然后,就求出了alpha*

1.4 线性可分SVM的简单举例

2.线性SVM

2.1 为什么需要线性SVM

在实际运用当中,首先,即使数据是线性可分的。通过线性可分SVM得到的分离超平面也不一定就是最适合的。比如说下面这个图:

如果按照分割超平面理论,实线应该属于最优的。但是,虚线部分,过渡带比较宽,所以他的泛化能力更好,可以更大可能的避免过拟合。

其次,如果数据根本就不是线性可分(即:线性不可分)的呢?你根本无法通过一条线或面就分的很明白呢?这就是为什么,我们要考虑:线性支持SVM

所谓线性不可分,就是指:一个数据集不可以通过一个线性分类器(直线、平面)来实现分类。这样子的数据集在实际应用中是很常见的,例如:人脸图像、文本文档等。

相关推荐
LNTON羚通1 小时前
摄像机视频分析软件下载LiteAIServer视频智能分析平台玩手机打电话检测算法技术的实现
算法·目标检测·音视频·监控·视频监控
哭泣的眼泪4083 小时前
解析粗糙度仪在工业制造及材料科学和建筑工程领域的重要性
python·算法·django·virtualenv·pygame
IT古董3 小时前
【机器学习】机器学习中用到的高等数学知识-8. 图论 (Graph Theory)
人工智能·机器学习·图论
Microsoft Word3 小时前
c++基础语法
开发语言·c++·算法
天才在此3 小时前
汽车加油行驶问题-动态规划算法(已在洛谷AC)
算法·动态规划
莫叫石榴姐4 小时前
数据科学与SQL:组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
ChaseDreamRunner5 小时前
迁移学习理论与应用
人工智能·机器学习·迁移学习
茶猫_5 小时前
力扣面试题 - 25 二进制数转字符串
c语言·算法·leetcode·职场和发展
谢眠6 小时前
深度学习day3-自动微分
python·深度学习·机器学习
搏博7 小时前
神经网络问题之一:梯度消失(Vanishing Gradient)
人工智能·机器学习