#7机器学习(西瓜书)自学记录

目录

第六章.支持向量机

1.概念:

2.公式:


第六章.支持向量机

1.概念:

  • 超平面:
  • 点到超平面的距离
  • 支持向量:距离超平面距离最小的几个样本点使得下述不等式成立
  • 间隔:异类支持向量到超平面的距离之和

  • 对偶问题 ^[https://www.cnblogs.com/moonout/p/16700952.html](https://www.cnblogs.com/moonout/p/16700952.html "https://www.cnblogs.com/moonout/p/16700952.html"):对偶问题是另一个优化问题(称为原问题)的转换形式。在对偶问题中,原问题的目标函数和约束条件被重新构造,以形成一个新的问题,其目标是优化一个与原问题相关但不同的目标函数。

  • 核技巧:核技巧(Kernel Trick)是一种在机器学习领域中用于处理非线性问题的数学方法。它允许算法在高维特征空间中有效地进行线性计算,而无需显式地定义或计算高维空间的坐标。

  • 核函数:核技巧中采用的函数

  • 软间隔:软间隔(Soft Margin)是在构建SVM分类器时,允许一些数据点违反间隔边界,即允许模型在一定程度上接受数据点的误分类或边界点的存在。

2.公式:

  • Original SVM

    • 建模与目标:最大间隔
复制代码
  即:
复制代码
- 求解思路:对偶问题
​
  上述目标的 lagrange 函数表示为:
复制代码
  考虑其对偶问题:
复制代码
- 改进1思路:基于核方法实现高维空间的线性可分
​
  设计
复制代码
  使得
复制代码
  求解得
复制代码
- 改进2思路:基于软间隔正则化缓解线性不可分、过拟合问题
​
  允许样本(尽可能少地)不满足约束
复制代码
  利用“替代损失”代替“0-1损失”以改善数学性质:

损失指数损失对率损失

复制代码
  即引入松弛变量:
  • SVM Regression

    • 建模:损失存在容忍区域

复制代码
  引入松弛变量:

此内容是本人第一次通过看书和相关视频学习周志华《机器学习》,在此发表的一些个人的看法与见解,如有错误在里面必然是本人见识低陋,望读者朋友务必指出,我好加紧改正。本内容仅仅是本人学习的记录。想要深入了解《机器学习》的朋友务必下去看看书。谢谢。

参考说明:

相关截图:来自b站 周志华老师亲讲-西瓜书全网最详尽讲解-1080p高清原版《机器学习初步》BV1gG411f7zX

【吃瓜教程】《机器学习公式详解》(南瓜书)与西瓜书公式推导直播合集 BV1Mh411e7VU

相关推荐
罗西的思考12 分钟前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
lilihuigz20 分钟前
权限配置:WordPress 7.2 Abilities API 权限、输入验证与 JSON 输出指南
人工智能
杨凯凡25 分钟前
IT日报|2026-11-20:欧盟 AI 网络攻击、Valkey 9.2、GitHub 企业迁移
人工智能·github
鲁邦通物联网1 小时前
机器人梯控到站状态机设计:楼层匹配、事件时序与任务判断
人工智能·机器人·机器人梯控·agv梯控·非侵入式采集·机器人乘梯·机器人自主乘梯
静水深码1 小时前
文生图提示词的工程师写法:把玄学话术拆成结构化模板
人工智能·后端·代码规范
Seiran1 小时前
Claude Fable 5.1写技术方案,ZEEKEAI提效实录
人工智能
JonaHu1 小时前
GPT Image 2.6 多语言海报改版:保留商品细节,分离文案与图像验收
图像处理·人工智能·aigc
4cos902 小时前
pi学习笔记-BranchSummary
人工智能
程序员张富华2 小时前
一次发布拦住12个破坏性变更:我们给Agent工作流加了Schema门禁
人工智能·agent
伞伞悦读2 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习