数据挖掘——支持向量机分类器

数据挖掘------支持向量机分类器

支持向量机

根据统计学习理论,学习机器的实际风险由经验风险值 和置信范围值 两部分组成。而基于经验风险最小化准则的学习方法只强调了训练样本的经验风险最小误差,没有最小化 置信范围值,因此其泛化能力较差。

Vapnik于1995年提出的支持向量机(Support Vector Machine, SVM)以训练误差作为优化问题的约束条件,以置信范围值最小化作为优化目标,即SVM是一种基于结构风险最小化准则的学习方法,其泛化能力明显优于一些传统的学习方法。

由于SVM 的求解最后转化成二次规划问题的求解,因此SVM的解是全局唯一的最优解

SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。

最小间隔面推导

注意分类的间隔为 2 ∣ ∣ w ∣ ∣ \frac{2}{||w||} ∣∣w∣∣2,不是 1 ∣ ∣ w ∣ ∣ \frac{1}{||w||} ∣∣w∣∣1

SVM目标函数求解:对偶问题求解

支持向量机解的稀疏性:训练完成后,大部分的训练样本都不需保留,最终模型仅与支持向量有关。

稀疏性理论解释:

基于软间隔的C-SVM

非线性SVM与核变换


观察以上两个式子可见:无论判别函数还是对偶形式中的目标函数都只涉及到高维空间中两个矢量之间的内积,而并不需要知道它们的具体坐标。

常用核函数

相关推荐
阿里云大数据AI技术15 分钟前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
字节跳动开源23 分钟前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·开源·设计
Bacon25 分钟前
我把 Codex 塞进了 Touch Bar:一个 30pt 高的额度与对话面板
人工智能
衡石科技35 分钟前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
网易云信1 小时前
折叠屏适配,iPhone Duo 真机已交付:网易云信 IMUIKit Swift 的实践
人工智能
kyle~2 小时前
模型预测控制(MPC)
算法·机器人·控制·传感器
Be for thing2 小时前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
十有八七2 小时前
手搓 Agent(一):先有大脑——大模型只会做一件事
前端·人工智能·后端
锋行天下2 小时前
「踩坑实录」给 LangGraph Agent 接两个 FastMCP,我被 langchain 偷偷改了工具名
前端·人工智能·后端
阿里云大数据AI技术2 小时前
穹彻智能 × MaxCompute:具身智能 UMI 数据产线的全模态计算实践
人工智能