04有监督算法——支持向量机

1.支持向量机

1.1 定义

支持向量机( Support Vector Machine )要解决的问题

什么样的法策边界才是最好的呢?

特征数据本身如果就很难分,怎么办呢?

计算复杂度怎么样?能实际应用吗?

支持向量机( Support Vector Machine , SVM)是一类按监督学习( supervised learning )方式对数据进行二元分类的广义线性分类器( generalized linear classifier ) 。

其决策边界是对学习样本求解的最大边距超平面( maximum-margin hyperplane ) 。

找到集合边缘上的若干数据(称为支持向量(Support Vector ) ),用这些点找出一个平面(称为决策面),使得支持向量到该平面的距离最大。

任意超平面可以用下面这个线性方程来描述: W T x + b = 0 {{\rm{W}}^{\rm{T}}}{\rm{x}} + b = 0 WTx+b=0

点到平面的距离: W T x ′ = − b , W T X ′ ′ = − b {{\rm{W}}^{\rm{T}}}{\rm{x' = }} - b,{W^T}X'' = - b WTx′=−b,WTX′′=−b

d i s t a n c e ( x , b , w ) = ∣ W T ∥ W ∥ ( x − x ′ ) ∣ = 1 ∥ W ∥ ∣ W T x + b ∣ {\rm{distance(x,b,w) = }}\left| {{{{{\rm{W}}^{\rm{T}}}} \over {\left\| W \right\|}}(x - {\rm{x'}})} \right|{\rm{ = }}{{\rm{1}} \over {\left\| W \right\|}}\left| {{{\rm{W}}^{\rm{T}}}x + b} \right| distance(x,b,w)= ∥W∥WT(x−x′) =∥W∥1 WTx+b

1.2 SVM软间隔

1.3 SVM核变换

核函数,可以将样本从原始空间映射到一个更高维的特质空间中,使得样本在新的空间中线性可分。

  • 线性核变换: K ( x i , x j ) = x i T x j K({x_i},{x_j}) = x_i^T{x_j} K(xi,xj)=xiTxj
  • 多项式核变换: K ( x i , x j ) = ( x i T x j ) d K({x_i},{x_j}) = {(x_i^T{x_j})^d} K(xi,xj)=(xiTxj)d
  • 高斯核函数: K ( x i , x j ) = exp ⁡ ( − ∥ x i − y i ∥ 2 y 2 ) K({x_i},{x_j}) = \exp ( - {{\left\| {{x_i} - {y_i}} \right\|} \over {2{y^2}}}) K(xi,xj)=exp(−2y2∥xi−yi∥)
相关推荐
蹦蹦跳跳真可爱58912 分钟前
Python----大模型(使用api接口调用大模型)
人工智能·python·microsoft·语言模型
小爷毛毛_卓寿杰13 分钟前
突破政务文档理解瓶颈:基于多模态大模型的智能解析系统详解
人工智能·llm
Mr.Winter`14 分钟前
障碍感知 | 基于3D激光雷达的三维膨胀栅格地图构建(附ROS C++仿真)
人工智能·机器人·自动驾驶·ros·具身智能·环境感知
好开心啊没烦恼23 分钟前
Python 数据分析:numpy,抽提,整数数组索引与基本索引扩展(元组传参)。听故事学知识点怎么这么容易?
开发语言·人工智能·python·数据挖掘·数据分析·numpy·pandas
磊叔的技术博客29 分钟前
LLM 系列(六):模型推理篇
人工智能·面试·llm
爱分享的飘哥29 分钟前
【V6.0 - 听觉篇】当AI学会“听”:用声音特征捕捉视频的“情绪爽点”
人工智能·音视频
fzyz12336 分钟前
Windows系统下WSL从C盘迁移方案
人工智能·windows·深度学习·wsl
BIYing_Aurora38 分钟前
【IPMV】图像处理与机器视觉:Lec13 Robust Estimation with RANSAC
图像处理·人工智能·算法·计算机视觉
数据与人工智能律师1 小时前
数字资产革命中的信任之锚:RWA法律架构的隐形密码
大数据·网络·人工智能·云计算·区块链
CHANG_THE_WORLD1 小时前
封装一个png的编码解码操作
图像处理·人工智能·计算机视觉