统计学习方法(第二版) 第七章 支持向量机 (第三节)

本节介绍非线性支持向量机与核函数,这部分还是比较难的数学功底需要比较深厚。

目录

前言

一、为什么映射到高维线性可分。

二、核技巧

三、正定核的充要条件

四、常用核函数

五、非线性支持向量机

总结


前言

对解线性可分问题,线性支持向量机是一种非常好的分类方法,但是在很多情况中都是线性不可分的,那么又该怎么处理呢?

数学家最常用的思想就是将问题转化成以被解决的问题,那对于非线性可分的问题,怎样转化成线性可分的问题呢?

这里就有一个重要结论:在低维一个线性不可分的数据集映射到高维线性可分的概率越大,如果映射到无穷维,可认为线性可分的概率为一,即一定能找到一个超平面使数据可分。

这就是非线性支持向量机与核函数的思想应用。

一、为什么映射到高维线性可分。

初始有A、B、C、D四个点,颜色代表分类,在一维的角度我们没法找到一个点使得两类点线性可分,但经过y = x^2的映射到二维空间,我们可以看到数据集线性可分了。一维映射到二维。

二维映射到三维。

二、核技巧

三、正定核的充要条件

这部分还是有看不懂,数学基础知识还是比较弱,只简单介绍少核函数需要满足什么条件。

这里用线性代数的知识很好证明,不多说。Gram矩阵就是内积矩阵,所以是对称矩阵。

四、常用核函数

五、非线性支持向量机


总结

主要介绍非线性支持向量机与核函数方法,为什么核技巧要用到原问题的对偶问题来求解呢?因为可以大幅度减少计算量。下一节介绍优化算法,呜呜真是太难了,坚持住!

相关推荐
阿坡RPA12 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户277844910499312 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心13 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI15 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c15 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20516 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清16 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh16 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员16 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物16 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技