机器学习之支持向量机SVM

支持向量机

  • 概念

    是supported vector machine(支持向量机),即寻找一个超平面使样本分成两类,且间隔最大分类

  • 分类

    • 硬间隔

      • 若样本线性可分,且所有样本分类正确情况下,寻找最大间隔,即硬间隔

      • 若出现异常值或样本不能线性可分,则无法实现

    • 软间隔

      • 允许部分样本,在最大间隔之间,甚至在错误的一边,寻找最大间隔,即软间隔

      • 目标是尽可能保持间隔宽阔和限制间隔违例之间找到良好平衡

  • 核函数Kernel

    将原始输入空间映射到新的特征空间,使得原本线性不可分样本在核空间可分

SVMAPI
  • class sklearn.svm.LinearSVC(C=1)

  • C:惩罚参数,类似于线性回归中正则化系数

  • LinearSVC API使用方法

    • 导包:from sklearn.svm import LinearSVC

    • 实例化: mysvc = LinearSVC(C=30)

    • 训练模型:mysvc.fit(X_standard,y)

    • 输出准确率:print(myscv.score(X_standard,y))

  • 惩罚参数C对超平面影响

    C值越大,间隔越小,落在间隔中的违例越少,反之,C值越小,间隔越大,违例越多

SVM算法原理
  • 思想:要去求一组参数(w,b),使其构建的超平面函数能够最优分离两个集合
  • 样本空间中任意点x到超平面(w,b)距离可为:

  • 若想找到具有最大间隔划分超平面,也就是要找到能满右足式中约束参数w和b,使得间隔γ最大

  • 距离超平面最近的几个训练样本点使上式等号成立,他们被称为"支持向量"两个异类支持向量到超平面距离之和为:

SVM核函数
  • 作用

    将原始输入空间映射到新的特征空间,从而使原本线性不可分样本在核孔间可分

  • 分类​

    高斯核(RBF、径向基函数):产生将样本投射到无限维空间运算效果,使得原来不可分数据变得可分。使用最多

  • 高斯核函数γ作用

  • 高斯函数API

    • 导包: from sklearn.svm import SVC

    • 实例化:SVC(kernel='rbf' gamma=gamma)

    • gamama:值越大,高斯分布越窄(数据变化越剧烈,易过拟合),反之,值越小,高斯分布越宽(数据变化越平缓),易欠拟合,rbf是高斯核

    • gamama参数意义

相关推荐
聚客AI5 小时前
🙋‍♀️Transformer训练与推理全流程:从输入处理到输出生成
人工智能·算法·llm
大怪v8 小时前
前端:人工智能?我也会啊!来个花活,😎😎😎“自动驾驶”整起!
前端·javascript·算法
惯导马工10 小时前
【论文导读】ORB-SLAM3:An Accurate Open-Source Library for Visual, Visual-Inertial and
深度学习·算法
骑自行车的码农11 小时前
【React用到的一些算法】游标和栈
算法·react.js
博笙困了11 小时前
AcWing学习——双指针算法
c++·算法
moonlifesudo12 小时前
322:零钱兑换(三种方法)
算法
NAGNIP1 天前
大模型框架性能优化策略:延迟、吞吐量与成本权衡
算法
美团技术团队1 天前
LongCat-Flash:如何使用 SGLang 部署美团 Agentic 模型
人工智能·算法
AI小云1 天前
【机器学习与实战】回归分析与预测:线性回归-03-损失函数与梯度下降
机器学习
Fanxt_Ja1 天前
【LeetCode】算法详解#15 ---环形链表II
数据结构·算法·leetcode·链表