统计学习方法(第二版) 第七章 支持向量机(第二节)

本节介绍线性可分支持向量机与软间隔最大化。


前言

回顾:

统计学习方法(第二版) 第七章 拉格朗日对偶性-CSDN博客

统计学习方法(第二版) 第七章 支持向量机(第一节)-CSDN博客

第一节学习线性可分支持向量机,对线性不可分的数据是不适用的,因为不是所有数据集都满足约束条件,也就是说对于约束条件无解。为了扩展到线性不可分问题,我们需要将硬间隔最大化改为软间隔最大化。

为什么研究线性可分支持向量机和软间隔最大化?

因为假设现实的数据集分布是线性可分得,但在实际对数据的获取可能存在偏差,导致数据集的分离边界模糊,并不是一个完全线性可分的数据集,这时为了得到模型和提高模型的泛化能力,需要对数据集进行一定的容忍,也就是加入一定的正则项,防止过拟合。


一、线性支持向量机

经过上一节的学习,这部分理解起来会更加容易。

二、学习的对偶算法

统计学习方法(第二版) 第七章 拉格朗日对偶性-CSDN博客

三、支持向量

线性可分支持向量机与软间隔最大化的支持向量与硬间隔最大化不同,其支持向量包括:在分类边界内部的点,在分类边界上和在分类边界以外误分类的点。

这里对支持向量的个人理解:

支持向量是对分类边界取到重要作用的向量(数据),故在硬间隔最大化时,由于数据集线性可分,对分类边界取决定性作用的是在分类边界上的点,而在软间隔最大化,数据集不是完全线性可分的,故对分类边界其决定作用的是在分类边界内部。在分类边界上和在分类边界以外的向量(数据)。

四.合页损失函数


总结

本节主要介绍线性可分支持向量机与软间隔最大化,学习问题和学习的对偶算法,以及软间隔最大化下的支持向量,最后简单介绍一下合页损失函数下的支持向量机。

相关推荐
余弦的倒数几秒前
知识蒸馏和迁移学习的区别
人工智能·机器学习·迁移学习
Allen Bright1 分钟前
【机器学习-线性回归-2】理解线性回归中的连续值与离散值
人工智能·机器学习·线性回归
adam_life8 分钟前
http://noi.openjudge.cn/——2.5基本算法之搜索——200:Solitaire
算法·宽搜·布局唯一码
weixin_贾9 分钟前
最新AI-Python机器学习与深度学习技术在植被参数反演中的核心技术应用
python·机器学习·植被参数·遥感反演
青松@FasterAI42 分钟前
【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)
人工智能·自然语言处理
我想进大厂1 小时前
图论---朴素Prim(稠密图)
数据结构·c++·算法·图论
我想进大厂1 小时前
图论---Bellman-Ford算法
数据结构·c++·算法·图论
AIGC大时代1 小时前
高效使用DeepSeek对“情境+ 对象 +问题“型课题进行开题!
数据库·人工智能·算法·aigc·智能写作·deepseek
硅谷秋水1 小时前
GAIA-2:用于自动驾驶的可控多视图生成世界模型
人工智能·机器学习·自动驾驶
偶尔微微一笑1 小时前
AI网络渗透kali应用(gptshell)
linux·人工智能·python·自然语言处理·编辑器