#7机器学习(西瓜书)自学记录

目录

第六章.支持向量机

1.概念:

2.公式:


第六章.支持向量机

1.概念:

  • 超平面
  • 点到超平面的距离
  • 支持向量:距离超平面距离最小的几个样本点使得下述不等式成立
  • 间隔:异类支持向量到超平面的距离之和

  • 对偶问题 ^[https://www.cnblogs.com/moonout/p/16700952.html]:对偶问题是另一个优化问题(称为原问题)的转换形式。在对偶问题中,原问题的目标函数和约束条件被重新构造,以形成一个新的问题,其目标是优化一个与原问题相关但不同的目标函数。

  • 核技巧:核技巧(Kernel Trick)是一种在机器学习领域中用于处理非线性问题的数学方法。它允许算法在高维特征空间中有效地进行线性计算,而无需显式地定义或计算高维空间的坐标。

  • 核函数:核技巧中采用的函数

  • 软间隔:软间隔(Soft Margin)是在构建SVM分类器时,允许一些数据点违反间隔边界,即允许模型在一定程度上接受数据点的误分类或边界点的存在。

2.公式:

  • Original SVM

    • 建模与目标:最大间隔
复制代码
  即:
复制代码
- 求解思路:对偶问题
​
  上述目标的 lagrange 函数表示为:
复制代码
  考虑其对偶问题:
复制代码
- 改进1思路:基于核方法实现高维空间的线性可分
​
  设计
复制代码
  使得
复制代码
  求解得
复制代码
- 改进2思路:基于软间隔正则化缓解线性不可分、过拟合问题
​
  允许样本(尽可能少地)不满足约束
复制代码
  利用“替代损失”代替“0-1损失”以改善数学性质:

损失指数损失对率损失

复制代码
  即引入松弛变量:
  • SVM Regression

    • 建模:损失存在容忍区域

复制代码
  引入松弛变量:

此内容是本人第一次通过看书和相关视频学习周志华《机器学习》,在此发表的一些个人的看法与见解,如有错误在里面必然是本人见识低陋,望读者朋友务必指出,我好加紧改正。本内容仅仅是本人学习的记录。想要深入了解《机器学习》的朋友务必下去看看书。谢谢。

参考说明:

相关截图:来自b站 周志华老师亲讲-西瓜书全网最详尽讲解-1080p高清原版《机器学习初步》BV1gG411f7zX

【吃瓜教程】《机器学习公式详解》(南瓜书)与西瓜书公式推导直播合集 BV1Mh411e7VU

相关推荐
Easy数模3 分钟前
使用llm进行高级主题建模:通过利用 BERTopic 的表示模型和生成式 AI 深入探讨主题建模
人工智能·llm·nlp
你可以叫我仔哥呀8 分钟前
Java程序员学从0学AI(七)
java·开发语言·人工智能·ai·spring ai
益莱储中国12 分钟前
是德科技 | AI上车后,这条“高速公路”如何畅通?
人工智能·科技
小张童鞋。18 分钟前
Datawhale AI夏令营--Task2:理解项目目标、从业务理解到技术实现!
人工智能
AI4Sci.18 分钟前
在云服务器上基于lora微调Qwen2.5-VL-7b-Instruct模型(下)
人工智能·算法·机器学习·大模型·lora微调·大模型本地部署·qwen2.5-vl-7b
阿里云大数据AI技术29 分钟前
数据开发再提速!DataWorks正式接入Qwen3-Coder
大数据·人工智能·数据分析
Xxtaoaooo30 分钟前
MCP协议全景解析:从工业总线到AI智能体的连接革命
大数据·人工智能·mcp协议·mcp解析·工业mcp
空中湖1 小时前
PyTorch武侠演义 第一卷:初入江湖 第7章:矿洞中的计算禁制
人工智能·pytorch·python
新智元1 小时前
毕树超入职Meta后首发声:十年前怀疑AGI,如今深信AGI已至!
人工智能·openai
新智元1 小时前
GPT-5「全家桶」爆出本周上线!惊艳首测秒出网页,编程彻底起飞
人工智能·openai