目录
一、线性可分支持向量机与硬间隔最大化
对于函数间隔与几何间隔，函数间隔与几何间隔之间的关系：
求最大间隔分离超平面：
凸优化问题
1.目标函数是凸函数 2.可行域是凸集
则局部最优解等价于全局最优解
可得到最大间隔法的算法原理：
并且线性可分数据集的最大间隔分离超平面是存在且唯一的（证明过程见课本），故分离超平面能将训练数据集中的两类点完全正确的分开。
支持向量与间隔边界
对于支持向量与间隔边界，如图所示：
在决定分离超平面时只有支持向量起作用，其他的实例点并不起作用，所以将这类模型称为支持向量机。
对偶问题
可以利用拉格朗日对偶性，通过求解对偶问题来得到原始问题的最优解，利用对偶问题来转化为凸优化问题
（1）定义拉格朗日函数：
求偏导带入，再将目标函数由极大转换成求极小，得到对偶的最优化问题：
有关对偶问题，slater条件，KKT条件的参考资料
最后可得：
完整算法
二、线性可分支持向量机与软间隔最大化
线性支持向量机
由线性可分问题的支持向量机方法到线性不可分，需要修改硬间隔最大化，使其成为软间隔最大化。考虑引入松弛变量和惩罚参数，将线性不可分的线性支持向量机的学习问题变成凸二次优化问题：
下面给出线性支持向量机的定义：
对偶算法
构造拉格朗日函数，计算后得到对偶问题：
完整算法
支持向量
合页损失函数
线性支持向量机学习就是最小化以下目标函数：
则有函数：
该函数称为合页损失函数
故有线性支持向量机原始最优化问题：
三、非线性支持向量机与核函数
当分类问题是非线性时，可以用非线性支持向量机，主要特点是利用核技巧。
核函数
核技巧在向量机中的应用：在对偶问题的目标函数中的内积可以用核函数K来代替，在核函数K给定的条件下，可以利用解线性分类问题的方法求解非线性分类问题的支持向量机。
常用的核函数
非线性支持向量机的学习算法
