数据挖掘——支持向量机分类器

数据挖掘------支持向量机分类器

支持向量机

根据统计学习理论,学习机器的实际风险由经验风险值置信范围值 两部分组成。而基于经验风险最小化准则的学习方法只强调了训练样本的经验风险最小误差,没有最小化 置信范围值,因此其泛化能力较差。

Vapnik于1995年提出的支持向量机(Support Vector Machine, SVM)以训练误差作为优化问题的约束条件,以置信范围值最小化作为优化目标,即SVM是一种基于结构风险最小化准则的学习方法,其泛化能力明显优于一些传统的学习方法。

由于SVM 的求解最后转化成二次规划问题的求解,因此SVM的解是全局唯一的最优解

SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。

最小间隔面推导

注意分类的间隔为 2 ∣ ∣ w ∣ ∣ \frac{2}{||w||} ∣∣w∣∣2,不是 1 ∣ ∣ w ∣ ∣ \frac{1}{||w||} ∣∣w∣∣1

SVM目标函数求解:对偶问题求解

支持向量机解的稀疏性:训练完成后,大部分的训练样本都不需保留,最终模型仅与支持向量有关。

稀疏性理论解释:

基于软间隔的C-SVM

非线性SVM与核变换


观察以上两个式子可见:无论判别函数还是对偶形式中的目标函数都只涉及到高维空间中两个矢量之间的内积,而并不需要知道它们的具体坐标。

常用核函数

相关推荐
好脾气先生6 分钟前
[论文解析]Mip-Splatting: Alias-free 3D Gaussian Splatting
人工智能·计算机视觉·3d·三维重建
国际云,接待7 分钟前
[特殊字符]服务器性能优化:从硬件到AI的全栈调优指南
运维·服务器·人工智能·阿里云·性能优化·架构·云计算
盖瑞理21 分钟前
第八部分:缓解 RAG 中的幻觉
人工智能·rag·ai agent
AIGC方案28 分钟前
常见的机器视觉通用软件
人工智能·机器视觉
所以遗憾是什么呢?36 分钟前
【数论分块】数论分块算法模板及真题
数据结构·算法·acm·icpc·数论分块
05091536 分钟前
实验四 进程调度实验
linux·数据结构·算法·课程设计
DisonTangor39 分钟前
月之暗面开源 Kimi-Audio-7B-Instruct,同时支持语音识别和语音生成
人工智能·开源·aigc·语音识别
LF男男42 分钟前
《C#数据结构与算法》—二分查找法和顺序查找
数据结构·算法
lilye6643 分钟前
精益数据分析(25/126):关键指标驱动业务发展
数据挖掘·数据分析
归去_来兮1 小时前
Bagging、Boosting、Stacking的原理
机器学习·数据分析·集成学习