机器学习之支持向量机SVM

支持向量机

  • 概念

    是supported vector machine(支持向量机),即寻找一个超平面使样本分成两类,且间隔最大分类

  • 分类

    • 硬间隔

      • 若样本线性可分,且所有样本分类正确情况下,寻找最大间隔,即硬间隔

      • 若出现异常值或样本不能线性可分,则无法实现

    • 软间隔

      • 允许部分样本,在最大间隔之间,甚至在错误的一边,寻找最大间隔,即软间隔

      • 目标是尽可能保持间隔宽阔和限制间隔违例之间找到良好平衡

  • 核函数Kernel

    将原始输入空间映射到新的特征空间,使得原本线性不可分样本在核空间可分

SVMAPI
  • class sklearn.svm.LinearSVC(C=1)

  • C:惩罚参数,类似于线性回归中正则化系数

  • LinearSVC API使用方法

    • 导包:from sklearn.svm import LinearSVC

    • 实例化: mysvc = LinearSVC(C=30)

    • 训练模型:mysvc.fit(X_standard,y)

    • 输出准确率:print(myscv.score(X_standard,y))

  • 惩罚参数C对超平面影响

    C值越大,间隔越小,落在间隔中的违例越少,反之,C值越小,间隔越大,违例越多

SVM算法原理
  • 思想:要去求一组参数(w,b),使其构建的超平面函数能够最优分离两个集合
  • 样本空间中任意点x到超平面(w,b)距离可为:

  • 若想找到具有最大间隔划分超平面,也就是要找到能满右足式中约束参数w和b,使得间隔γ最大

  • 距离超平面最近的几个训练样本点使上式等号成立,他们被称为"支持向量"两个异类支持向量到超平面距离之和为:

SVM核函数
  • 作用

    将原始输入空间映射到新的特征空间,从而使原本线性不可分样本在核孔间可分

  • 分类​

    高斯核(RBF、径向基函数):产生将样本投射到无限维空间运算效果,使得原来不可分数据变得可分。使用最多

  • 高斯核函数γ作用

  • 高斯函数API

    • 导包: from sklearn.svm import SVC

    • 实例化:SVC(kernel='rbf' gamma=gamma)

    • gamama:值越大,高斯分布越窄(数据变化越剧烈,易过拟合),反之,值越小,高斯分布越宽(数据变化越平缓),易欠拟合,rbf是高斯核

    • gamama参数意义

相关推荐
SHIPKING39328 分钟前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
巴伦是只猫34 分钟前
【机器学习笔记Ⅰ】11 多项式回归
笔记·机器学习·回归
写代码的小球2 小时前
求模运算符c
算法
巴伦是只猫6 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手6 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
LCG元7 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
YuTaoShao7 小时前
【LeetCode 热题 100】48. 旋转图像——转置+水平翻转
java·算法·leetcode·职场和发展
生态遥感监测笔记8 小时前
GEE利用已有土地利用数据选取样本点并进行分类
人工智能·算法·机器学习·分类·数据挖掘
Tony沈哲8 小时前
macOS 上为 Compose Desktop 构建跨架构图像处理 dylib:OpenCV + libraw + libheif 实践指南
opencv·算法