支持向量机 支持向量机概述

支持向量机概述

支持向量机 Support Vector MachineSVM ) 是一类按监督学习 ( supervisedlearning)方式对数据进行二元分类的广义线性分类器 (generalized linear classifier) ,其决策边界是对学习样本求解的最大边距超亚面 (maximum-margin hyperplane)与逻辑回归和神经网终相比,支持向量机,在学习复杂的非线性方程时提供了一种更为清晰,更加强大的方式

硬间隔、软间隔和非线性 SVM

假如数据是完全的线性可分的,那么学习到的模型可以称为硬间隔支持向量机。换个说法,硬间隔指的就是完全分类准确,不能存在分类错误的情况。软间隔,就是允许一定量的样本分类错误。

算法思想

找到集合边缘上的若工数据 (称为支持向量 (Support Vector) )用这些点找出一个平面(称为决策面),使得支持向量到该平面的距离最大

超平面方程:
w ⋅ x + b = 0 \mathbf{w} \cdot \mathbf{x} + b = 0 w⋅x+b=0

间隔(Margin):
Margin = 2 ∥ w ∥ \text{Margin} = \frac{2}{\|\mathbf{w}\|} Margin=∥w∥2

决策函数:
( w ⋅ x + b ) / ∣ ∣ w ∣ ∣ > = d , y = 1 (\mathbf{w} \cdot \mathbf{x} + b ) /||w|| >=d ,y=1 (w⋅x+b)/∣∣w∣∣>=d,y=1
( w ⋅ x + b ) / ∣ ∣ w ∣ ∣ > = d , y = − 1 (\mathbf{w} \cdot \mathbf{x} + b ) /||w|| >=d ,y=-1 (w⋅x+b)/∣∣w∣∣>=d,y=−1

复制代码
如图所示,根据支持向量的定义我们知道,支持向量到超平面的距离为 d,其他点到超平面的距离大于 d

至此可以得到最大间隔超平面的上下两个超平面:
d = ∣ w ⋅ x + b ∣ / ∣ ∣ w ∣ ∣ d=|\mathbf{w} \cdot \mathbf{x} + b | /||w|| d=∣w⋅x+b∣/∣∣w∣∣

相关推荐
苏苏susuus3 小时前
机器学习:load_predict_project
人工智能·机器学习
有梦想的骇客5 小时前
书籍将正方形矩阵顺时针转动90°(8)0605
线性代数·算法·矩阵
有梦想的骇客5 小时前
书籍“之“字形打印矩阵(8)0609
java·算法·矩阵
Chenyu_3106 小时前
12.找到字符串中所有字母异位词
c语言·数据结构·算法·哈希算法
苏三福6 小时前
yolo11-seg ultralytics 部署版本
算法·yolo11
newxtc9 小时前
【配置 YOLOX 用于按目录分类的图片数据集】
人工智能·目标跟踪·分类
wuqingshun3141599 小时前
蓝桥杯 冶炼金属
算法·职场和发展·蓝桥杯
jndingxin10 小时前
OpenCV CUDA模块光流计算-----实现Farneback光流算法的类cv::cuda::FarnebackOpticalFlow
人工智能·opencv·算法
编程绿豆侠11 小时前
力扣HOT100之栈:394. 字符串解码
java·算法·leetcode