统计学习方法(第二版) 第七章 支持向量机(第二节)

本节介绍线性可分支持向量机与软间隔最大化。


前言

回顾:

统计学习方法(第二版) 第七章 拉格朗日对偶性-CSDN博客

统计学习方法(第二版) 第七章 支持向量机(第一节)-CSDN博客

第一节学习线性可分支持向量机,对线性不可分的数据是不适用的,因为不是所有数据集都满足约束条件,也就是说对于约束条件无解。为了扩展到线性不可分问题,我们需要将硬间隔最大化改为软间隔最大化。

为什么研究线性可分支持向量机和软间隔最大化?

因为假设现实的数据集分布是线性可分得,但在实际对数据的获取可能存在偏差,导致数据集的分离边界模糊,并不是一个完全线性可分的数据集,这时为了得到模型和提高模型的泛化能力,需要对数据集进行一定的容忍,也就是加入一定的正则项,防止过拟合。


一、线性支持向量机

经过上一节的学习,这部分理解起来会更加容易。

二、学习的对偶算法

统计学习方法(第二版) 第七章 拉格朗日对偶性-CSDN博客

三、支持向量

线性可分支持向量机与软间隔最大化的支持向量与硬间隔最大化不同,其支持向量包括:在分类边界内部的点,在分类边界上和在分类边界以外误分类的点。

这里对支持向量的个人理解:

支持向量是对分类边界取到重要作用的向量(数据),故在硬间隔最大化时,由于数据集线性可分,对分类边界取决定性作用的是在分类边界上的点,而在软间隔最大化,数据集不是完全线性可分的,故对分类边界其决定作用的是在分类边界内部。在分类边界上和在分类边界以外的向量(数据)。

四.合页损失函数


总结

本节主要介绍线性可分支持向量机与软间隔最大化,学习问题和学习的对偶算法,以及软间隔最大化下的支持向量,最后简单介绍一下合页损失函数下的支持向量机。

相关推荐
Csvn16 分钟前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考1 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考1 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库2 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静2 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康2 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea3 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen3 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷3 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘3 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习