统计学习方法(第二版) 第七章 支持向量机 (第三节)

本节介绍非线性支持向量机与核函数,这部分还是比较难的数学功底需要比较深厚。

目录

前言

一、为什么映射到高维线性可分。

二、核技巧

三、正定核的充要条件

四、常用核函数

五、非线性支持向量机

总结


前言

对解线性可分问题,线性支持向量机是一种非常好的分类方法,但是在很多情况中都是线性不可分的,那么又该怎么处理呢?

数学家最常用的思想就是将问题转化成以被解决的问题,那对于非线性可分的问题,怎样转化成线性可分的问题呢?

这里就有一个重要结论:在低维一个线性不可分的数据集映射到高维线性可分的概率越大,如果映射到无穷维,可认为线性可分的概率为一,即一定能找到一个超平面使数据可分。

这就是非线性支持向量机与核函数的思想应用。

一、为什么映射到高维线性可分。

初始有A、B、C、D四个点,颜色代表分类,在一维的角度我们没法找到一个点使得两类点线性可分,但经过y = x^2的映射到二维空间,我们可以看到数据集线性可分了。一维映射到二维。

二维映射到三维。

二、核技巧

三、正定核的充要条件

这部分还是有看不懂,数学基础知识还是比较弱,只简单介绍少核函数需要满足什么条件。

这里用线性代数的知识很好证明,不多说。Gram矩阵就是内积矩阵,所以是对称矩阵。

四、常用核函数

五、非线性支持向量机


总结

主要介绍非线性支持向量机与核函数方法,为什么核技巧要用到原问题的对偶问题来求解呢?因为可以大幅度减少计算量。下一节介绍优化算法,呜呜真是太难了,坚持住!

相关推荐
Prokint.几秒前
GPU算力租用平台推荐(AI/游戏串流/渲染/办公)
人工智能·游戏·云计算·gpu算力
蒟蒻小袁5 分钟前
力扣面试150题--单词接龙
算法·leetcode·面试
ghie909021 分钟前
LMD分解通过局部均值分解重构信号实现对信号的降噪
算法·均值算法·重构
king of code porter26 分钟前
深度学习之模型压缩三驾马车:基于ResNet18的模型剪枝实战(3)
人工智能·深度学习·剪枝
DUTBenjamin29 分钟前
深度学习5——循环神经网络
人工智能·rnn·深度学习
struggle202531 分钟前
tvm开源程序是适用于 CPU、GPU 和专用加速器的开放式深度学习编译器堆栈
人工智能·python·深度学习
摘取一颗天上星️31 分钟前
LSTM梯度推导与梯度消失机制解析
人工智能·rnn·lstm
凡人的AI工具箱35 分钟前
PyTorch深度学习框架60天进阶学习计划-第57天:因果推理模型(二)- 高级算法与深度学习融合
人工智能·pytorch·深度学习·学习·mcp·a2a
DFminer39 分钟前
【仿生机器人】建模—— 图生3D 的几个办法
人工智能·安全·机器人
算家云42 分钟前
“液态玻璃”难解苹果AI焦虑:WWDC25背后的信任危机
人工智能·算力·算家云·租算力,到算家云·wwdc25·苹果ai·ios 26