机器学习之支持向量机SVM

支持向量机

  • 概念

    是supported vector machine(支持向量机),即寻找一个超平面使样本分成两类,且间隔最大分类

  • 分类

    • 硬间隔

      • 若样本线性可分,且所有样本分类正确情况下,寻找最大间隔,即硬间隔

      • 若出现异常值或样本不能线性可分,则无法实现

    • 软间隔

      • 允许部分样本,在最大间隔之间,甚至在错误的一边,寻找最大间隔,即软间隔

      • 目标是尽可能保持间隔宽阔和限制间隔违例之间找到良好平衡

  • 核函数Kernel

    将原始输入空间映射到新的特征空间,使得原本线性不可分样本在核空间可分

SVMAPI
  • class sklearn.svm.LinearSVC(C=1)

  • C:惩罚参数,类似于线性回归中正则化系数

  • LinearSVC API使用方法

    • 导包:from sklearn.svm import LinearSVC

    • 实例化: mysvc = LinearSVC(C=30)

    • 训练模型:mysvc.fit(X_standard,y)

    • 输出准确率:print(myscv.score(X_standard,y))

  • 惩罚参数C对超平面影响

    C值越大,间隔越小,落在间隔中的违例越少,反之,C值越小,间隔越大,违例越多

SVM算法原理
  • 思想:要去求一组参数(w,b),使其构建的超平面函数能够最优分离两个集合
  • 样本空间中任意点x到超平面(w,b)距离可为:

  • 若想找到具有最大间隔划分超平面,也就是要找到能满右足式中约束参数w和b,使得间隔γ最大

  • 距离超平面最近的几个训练样本点使上式等号成立,他们被称为"支持向量"两个异类支持向量到超平面距离之和为:

SVM核函数
  • 作用

    将原始输入空间映射到新的特征空间,从而使原本线性不可分样本在核孔间可分

  • 分类​

    高斯核(RBF、径向基函数):产生将样本投射到无限维空间运算效果,使得原来不可分数据变得可分。使用最多

  • 高斯核函数γ作用

  • 高斯函数API

    • 导包: from sklearn.svm import SVC

    • 实例化:SVC(kernel='rbf' gamma=gamma)

    • gamama:值越大,高斯分布越窄(数据变化越剧烈,易过拟合),反之,值越小,高斯分布越宽(数据变化越平缓),易欠拟合,rbf是高斯核

    • gamama参数意义

相关推荐
THMAIL16 分钟前
量化基金从小白到大师 - 金融数据获取大全:从免费API到Tick级数据实战指南
人工智能·python·深度学习·算法·机器学习·金融·kafka
zzywxc78716 分钟前
AI在金融、医疗、教育、制造业等领域的落地案例(含代码、流程图、Prompt示例与图表)
人工智能·spring·机器学习·金融·数据挖掘·prompt·流程图
纪元A梦34 分钟前
贪心算法应用:数字孪生同步问题详解
java·算法·贪心算法
纪元A梦36 分钟前
贪心算法应用:食品生产线排序问题详解
算法·贪心算法
代码欢乐豆1 小时前
scikit-learn零基础配置(含python、anaconda)
python·机器学习·scikit-learn
信奥卷王1 小时前
2024年9月GESPC++三级真题解析(含视频)
算法
望未来无悔2 小时前
系统学习算法 专题十八 队列+宽搜
java·算法
xz2024102****2 小时前
最大似然估计:损失函数的底层数学原理
人工智能·算法·机器学习·概率论
Xの哲學2 小时前
Linux RCU (Read-Copy-Update) 机制深度分析
linux·网络·算法·架构·边缘计算
数模加油站3 小时前
25高教社杯数模国赛【C题国一学长思路+问题分析】第二弹
算法·数学建模·数模国赛·高教社杯全国大学生数学建模竞赛