统计学习方法(第二版) 第七章 支持向量机(第二节)

本节介绍线性可分支持向量机与软间隔最大化。


前言

回顾:

统计学习方法(第二版) 第七章 拉格朗日对偶性-CSDN博客

统计学习方法(第二版) 第七章 支持向量机(第一节)-CSDN博客

第一节学习线性可分支持向量机,对线性不可分的数据是不适用的,因为不是所有数据集都满足约束条件,也就是说对于约束条件无解。为了扩展到线性不可分问题,我们需要将硬间隔最大化改为软间隔最大化。

为什么研究线性可分支持向量机和软间隔最大化?

因为假设现实的数据集分布是线性可分得,但在实际对数据的获取可能存在偏差,导致数据集的分离边界模糊,并不是一个完全线性可分的数据集,这时为了得到模型和提高模型的泛化能力,需要对数据集进行一定的容忍,也就是加入一定的正则项,防止过拟合。


一、线性支持向量机

经过上一节的学习,这部分理解起来会更加容易。

二、学习的对偶算法

统计学习方法(第二版) 第七章 拉格朗日对偶性-CSDN博客

三、支持向量

线性可分支持向量机与软间隔最大化的支持向量与硬间隔最大化不同,其支持向量包括:在分类边界内部的点,在分类边界上和在分类边界以外误分类的点。

这里对支持向量的个人理解:

支持向量是对分类边界取到重要作用的向量(数据),故在硬间隔最大化时,由于数据集线性可分,对分类边界取决定性作用的是在分类边界上的点,而在软间隔最大化,数据集不是完全线性可分的,故对分类边界其决定作用的是在分类边界内部。在分类边界上和在分类边界以外的向量(数据)。

四.合页损失函数


总结

本节主要介绍线性可分支持向量机与软间隔最大化,学习问题和学习的对偶算法,以及软间隔最大化下的支持向量,最后简单介绍一下合页损失函数下的支持向量机。

相关推荐
forest_093 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
H.莓飛3 小时前
【C++】【STL】stack_OJ题
服务器·c语言·开发语言·数据结构·c++·算法·visual studio
火山引擎开发者社区4 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔4 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区4 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1234 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI4 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健5 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
不会武功不懂江湖5 小时前
RISC-V链接器与链接脚本
汇编·算法·risc-v