模式识别与机器学习 | 第七章 支持向量机

线性支持向量机/核支持向量机

间隔

分类器的置信度:

  • 概率 越大,y=1概率越大
  • 点到分离超平面H的距离反映了置信度

函数间隔:样本,它到**(w,b)确定的超平面** 的函数间隔

****模型对样本的预测正确

大的函数间隔->确信正确的预测

训练数据集的函数间隔,所有样本里最小的那个

几何间隔:

点到决策界面(直线wx+b=0)的距离

最优间隔分类器:间隔最大化

线性SVM(原始)

输入:数据集S

输出:判别函数

判别届面/分离超平面

参数w,b通过解决最优化间隔分类器问题

其中 支持向量 线性可分情况下,至少有两个不同类别的点在边界上

函数间隔

几何间隔

间隔

拉格朗日

约束条件

广义拉格朗日函数 (求解偏导为0)

拉格朗日对偶(原问题与对偶问题):

原问题为凸函数时,严格满足,可取"="

满足Karush-Kuhn-Tucker(KKT)条件:

kkT对偶互补性

最有间隔分类器 : 对偶解

利用KKT对偶互补性条件

支持向量的数量远小于训练样本的数目!

  • 固定α,有关于参数w,b最小化L得到

最大化θ,得到对偶问题最优解 d*

拉格朗日函数

求解w,b: 对w求偏导:

对b求偏导:

带入拉格朗日函数:

线性SVM(对偶)

输入:数据集S

输出:判别函数

判别届面/分离超平面

  • 通过求解对偶问题得到最优解α*
  • 得到原问题最优解w*,b*
软间隔

存在线性不可分的情况(有离群点或者噪声样本)但整体大部分仍可分

Hinge损失:

引入松驰变量ξ

  • 软间隔对偶问题

拉格朗日函数

固定α、η,求w,b,ξ,最小化L(求偏导,偏导为0),得到

最大化θ,得到最优值d*、η,

ps. C表示惩罚程度:C较大惩罚重;小则惩罚松,可以容忍分错

非线性可分SVM(对偶问题)

输入:数据集S

输出:判别函数,分类超平面

  • 选择参数C,通过求解对偶问题,得到最优解α*
  • 得到原问题最优解w*,b*
  • 判别函数

分离超平面

非线性SVM-核函数

利用核函数,将低维->高维,非线性变成线性可分

  • 非线性变换 ,将原来线性SVM问题中的x -> Φ(x)
  • 核函数:
  • 核技巧:学习和预测时,选择使用核函数K(x,z);学习过程在映射后得空间进行
  • **核函数定理:**x输入空间,k是x*x的对称的函数

K( , )是核函数 当且仅当 对任意数据D**,Gram矩阵总是半正定的**

常用核函数:

  • 多项式核

p=2

映射函数

多项分类器

  • 高斯核函数

g(x)K(x,z)g(z)仍是核函数,g(.)是任意函数

高斯核应用广, 超参少,有限维 -> 无限维

--

相关推荐
shao91851615 分钟前
Gradio全解10——Streaming:流式传输的音频应用(7)——ElevenLabs:高级智能语音技术
人工智能·gradio·tts·streaming·elevenlabs·stt·eleven music
Monkey的自我迭代18 分钟前
基于OpenCV的银行卡号识别系统:从原理到实现
人工智能·opencv·计算机视觉
会写代码的饭桶39 分钟前
通俗理解 LSTM 的三门机制:从剧情记忆到科学原理
人工智能·rnn·lstm·transformer
算家计算1 小时前
ComfyUI-MultiTalk本地部署教程:创新L-RoPE机制破解多音频流绑定难题,定义多人对话视频生成新SOTA!
人工智能·开源
Stestack1 小时前
人工智能常见分类
人工智能·分类·数据挖掘
量子位1 小时前
18岁女孩做养老机器人,上线2天卖爆了
人工智能·llm
小林学习编程1 小时前
2025年最新AI大模型原理和应用面试题
人工智能·ai·面试
数据分析能量站1 小时前
大模型为什么会有幻觉?-Why Language Models Hallucinate
人工智能
小白狮ww1 小时前
RStudio 教程:以抑郁量表测评数据分析为例
人工智能·算法·机器学习
沧海一粟青草喂马2 小时前
抖音批量上传视频怎么弄?抖音矩阵账号管理的专业指南
大数据·人工智能·矩阵