统计学习方法(第二版) 第七章 支持向量机(第二节)

本节介绍线性可分支持向量机与软间隔最大化。


前言

回顾:

统计学习方法(第二版) 第七章 拉格朗日对偶性-CSDN博客

统计学习方法(第二版) 第七章 支持向量机(第一节)-CSDN博客

第一节学习线性可分支持向量机,对线性不可分的数据是不适用的,因为不是所有数据集都满足约束条件,也就是说对于约束条件无解。为了扩展到线性不可分问题,我们需要将硬间隔最大化改为软间隔最大化。

为什么研究线性可分支持向量机和软间隔最大化?

因为假设现实的数据集分布是线性可分得,但在实际对数据的获取可能存在偏差,导致数据集的分离边界模糊,并不是一个完全线性可分的数据集,这时为了得到模型和提高模型的泛化能力,需要对数据集进行一定的容忍,也就是加入一定的正则项,防止过拟合。


一、线性支持向量机

经过上一节的学习,这部分理解起来会更加容易。

二、学习的对偶算法

统计学习方法(第二版) 第七章 拉格朗日对偶性-CSDN博客

三、支持向量

线性可分支持向量机与软间隔最大化的支持向量与硬间隔最大化不同,其支持向量包括:在分类边界内部的点,在分类边界上和在分类边界以外误分类的点。

这里对支持向量的个人理解:

支持向量是对分类边界取到重要作用的向量(数据),故在硬间隔最大化时,由于数据集线性可分,对分类边界取决定性作用的是在分类边界上的点,而在软间隔最大化,数据集不是完全线性可分的,故对分类边界其决定作用的是在分类边界内部。在分类边界上和在分类边界以外的向量(数据)。

四.合页损失函数


总结

本节主要介绍线性可分支持向量机与软间隔最大化,学习问题和学习的对偶算法,以及软间隔最大化下的支持向量,最后简单介绍一下合页损失函数下的支持向量机。

相关推荐
地平线开发者9 分钟前
理想汽车智驾方案介绍 2|MindVLA 方案详解
算法·自动驾驶
艾莉丝努力练剑41 分钟前
【C语言16天强化训练】从基础入门到进阶:Day 7
java·c语言·学习·算法
居7然1 小时前
大模型微调面试题全解析:从概念到实战
人工智能·微调
地平线开发者1 小时前
LLM 中评价指标与训练概要介绍
算法·自动驾驶
Ghost-Face1 小时前
关于并查集
算法
haidizym2 小时前
质谱数据分析环节体系整理
大数据·人工智能·数据分析·ai4s
Godspeed Zhao2 小时前
Tesla自动驾驶域控制器产品(AutoPilot HW)的系统化梳理
人工智能·机器学习·自动驾驶
fsnine2 小时前
机器学习案例——预测矿物类型(模型训练)
人工智能·机器学习
数据知道2 小时前
机器翻译60天修炼专栏介绍和目录
人工智能·自然语言处理·机器翻译
flashlight_hi3 小时前
LeetCode 分类刷题:2529. 正整数和负整数的最大计数
python·算法·leetcode