统计学习方法——支持向量机

目录


一、线性可分支持向量机与硬间隔最大化

对于函数间隔与几何间隔,函数间隔与几何间隔之间的关系:

求最大间隔分离超平面:

凸优化问题

1.目标函数是凸函数 2.可行域是凸集

则局部最优解等价于全局最优解

可得到最大间隔法的算法原理:

并且线性可分数据集的最大间隔分离超平面是存在且唯一的(证明过程见课本),故分离超平面能将训练数据集中的两类点完全正确的分开。

支持向量与间隔边界

对于支持向量与间隔边界,如图所示:

在决定分离超平面时只有支持向量起作用,其他的实例点并不起作用,所以将这类模型称为支持向量机。

对偶问题

可以利用拉格朗日对偶性,通过求解对偶问题来得到原始问题的最优解,利用对偶问题来转化为凸优化问题

(1)定义拉格朗日函数:

求偏导带入,再将目标函数由极大转换成求极小,得到对偶的最优化问题:

有关对偶问题,slater条件,KKT条件的参考资料

支持向量机(SVM)必备知识(KKT、slater、对偶)

最后可得:

完整算法

二、线性可分支持向量机与软间隔最大化

线性支持向量机

由线性可分问题的支持向量机方法到线性不可分,需要修改硬间隔最大化,使其成为软间隔最大化。考虑引入松弛变量和惩罚参数,将线性不可分的线性支持向量机的学习问题变成凸二次优化问题:

下面给出线性支持向量机的定义:

对偶算法

构造拉格朗日函数,计算后得到对偶问题:

完整算法

支持向量

合页损失函数

线性支持向量机学习就是最小化以下目标函数:

则有函数:

该函数称为合页损失函数

故有线性支持向量机原始最优化问题:

三、非线性支持向量机与核函数

当分类问题是非线性时,可以用非线性支持向量机,主要特点是利用核技巧。

核函数

核技巧在向量机中的应用:在对偶问题的目标函数中的内积可以用核函数K来代替,在核函数K给定的条件下,可以利用解线性分类问题的方法求解非线性分类问题的支持向量机。

常用的核函数

非线性支持向量机的学习算法

相关推荐
罗西的思考2 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
kyle~6 小时前
模型预测控制(MPC)
算法·机器人·控制·传感器
牢姐与蒯8 小时前
cpp算法之哈希
c++·算法·哈希算法
dahaihua3338 小时前
用 SysML 表达航电系统架构(附建模示例)
设计模式·重构·系统架构·集成测试·需求分析·学习方法
开开心心就好9 小时前
两张表格数据对比工具,不用写函数也能查
算法·spring·智能手机·pdf·电脑·intellij-idea·音视频
电科_银尘9 小时前
【大模型算法与工程 02】线性回归与逻辑回归:从损失函数到决策边界
算法·逻辑回归·线性回归
玄昌盛不会编程10 小时前
LeetCode——2243. 计算字符串的数字和
java·算法·leetcode
电科_银尘13 小时前
【大模型算法与工程 01】机器学习的问题定义:监督、无监督、自监督与强化学习
人工智能·算法·机器学习
电科_银尘13 小时前
【大模型算法与工程 05】分类、回归与排序指标:怎样评价一个模型
算法·分类·回归
罗西的思考1 天前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习