支持向量机

支持向量机(SVM)知识点总结

1. 基本思想

  • 目标:在样本空间中找到一个划分超平面,将不同类别的样本分开。

  • 理想超平面:对训练样本局部扰动"容忍性"最好的超平面。

2. 优化目标

  • 最大化间隔(Margin) :

    SVM的核心思想是寻找一个超平面,使得该超平面到最近样本点的距离(即"间隔")最大化,从而提高泛化能力。

3. 支持向量(Support Vectors)

  • 位于间隔边界上的样本点,直接影响超平面的位置和方向。

  • 只有支持向量参与决策,其他样本点对超平面无影响。

4. 超平面(Hyperplane)

  • 定义:超平面是从n维空间到n-1维空间的一个映射子空间,由一个n维向量和一个实数定义。

  • 示例:

    • 三维空间:超平面为二维平面。

    • 二维空间:超平面为一维直线。

  • 超平面方程:

    wTx+b=0

    其中,w 为法向量,b 为偏置项。

5. 点到超平面的距离

  • 点 x 到超平面 wTx+b=0 的距离公式:

    距离=∥w∥∣wTx+b∣


支持向量机(SVM)学习笔记

核心思想

支持向量机(SVM)是一种经典的监督学习方法,主要用于分类任务。其核心思想是在样本空间中找到一个最优的超平面,使得不同类别的样本被有效分离,并且超平面对训练数据的局部扰动具有最好的"容忍性"。

优化目标

  • 最大化间隔(Margin) :

    SVM通过最大化超平面到最近样本点的距离(即"间隔"),来提高模型的泛化能力。间隔越大,模型对未知数据的预测能力越强。

支持向量(Support Vectors)

  • 定义:支持向量是指位于间隔边界上的样本点,这些点直接决定了超平面的位置和方向。

  • 特点:

    • 只有支持向量参与超平面的确定。

    • 移除非支持向量的样本点,不会影响超平面位置。

超平面(Hyperplane)

  • 几何意义:超平面是从n维空间到n-1维空间的映射子空间。

  • 示例:

    • 三维空间:超平面为二维平面。

    • 二维空间:超平面为一维直线。

  • 数学表达 :

    超平面方程为:

    wTx+b=0

    其中,w 为法向量(决定超平面方向),b 为偏置项(决定超平面位置)。

点到超平面的距离

  • 任意样本点 x 到超平面的距离为:

    距离=∥w∥∣wTx+b∣

    该距离公式在计算间隔时至关重要。

相关推荐
sanxing三省2 分钟前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek
合尘猫1 小时前
用 6GB 显卡搭短视频产线:MiniMax H3 + ffmpeg 全流程实录(55 秒片 / 40 分钟)
人工智能·音视频
ZONGYUAN-ROOT1 小时前
【自愈治理】自愈式数据管道:大规模公开数据采集的治理方法
人工智能
Starry-sky(jing)1 小时前
Hermes Agent 升级 v0.23.2:先辨更新渠道,再看 CLI 退出残留修复
人工智能·python·ai agent
oil欧哟1 小时前
AI Agent Skill 入门指南:文件夹本质、渐进式加载与挑选方法
人工智能·ai编程
百度Geek说2 小时前
从代码生成到需求交付:DarkFactory 的工程实践
人工智能
Baihai_IDP2 小时前
使用场景不同,模型“推理速度慢”的原因也不同
人工智能·面试·llm
挖掘狂人2 小时前
AI 三分钟写完的代码,你凭什么敢直接上线?
人工智能·程序员·ai编程
墨林陌2 小时前
AI 热点日报(2026-11-20):苹果自研 AI 智能体曝光,Anthropic 上市首日大涨,智能体支付落地
人工智能