理解支持向量机

  1. 支持向量机属于机器学习

    • 支持向量机(Support Vector Machine,SVM)是一种典型的机器学习算法,属于监督学习范畴。它主要用于分类问题,也可以用于回归问题。在机器学习的众多算法中,SVM以其在小样本、高维空间等情况下的优秀性能而受到广泛关注。
  2. 基本原理理解 - 分类问题视角

    • 几何直观理解:想象在一个二维平面上有两类不同的点,比如红色的点代表一类,蓝色的点代表另一类。SVM的目标是找到一条直线(在二维空间中是直线,在高维空间中是超平面),将这两类点尽可能完美地分开。这条直线就像是一道"分界线",使得两类点分别位于直线的两侧。
    • 最大化间隔:但不是随便一条能分开两类点的直线都好,SVM要找的是具有最大间隔的直线。间隔是指从这条分界线到最近的点(这部分点被称为支持向量)的距离。为什么要最大化间隔呢?这就好比在两个阵营之间划分地盘,要让中间的"无人区"(间隔)尽可能地宽,这样当有新的点(数据)到来时,分类的准确性更高。
    • 例如,假设有一组数据是关于水果的大小和甜度来判断是苹果还是橙子。我们可以把大小作为x轴,甜度作为y轴,每个水果的数据点(大小和甜度的组合)分布在这个二维平面上。SVM会在这个平面上找到一条直线,使得苹果的点在直线一侧,橙子的点在另一侧,并且这条直线到离它最近的苹果点和橙子点的距离(间隔)最大。
  3. 核函数的引入(处理非线性问题)

    • 在很多实际情况中,数据不是线性可分的,就像在一个扭曲的空间里,没办法用一条简单的直线(或超平面)把两类点分开。这时候就需要核函数。核函数可以将原始数据从低维空间映射到高维空间,使得在高维空间中数据变得线性可分。
    • 可以把核函数想象成一种魔法工具,它能把原本混乱复杂的点云(数据)进行变形,让它们在新的空间里能够被一条直线(或超平面)分开。比如,在二维平面上有一些数据点像一个圆形分布,无法用直线分开两类点。通过核函数将数据映射到三维空间后,这些点可能就变成了在一个平面的两侧,这样就能用平面(在三维空间中的超平面)来分开它们了。
  4. 在回归问题中的应用

    • SVM用于回归时,目标是找到一个函数,使得尽可能多的样本点落在这个函数周围的一定范围内(这个范围被称为 ϵ − \epsilon - ϵ−不敏感带)。对于那些落在这个范围之外的点,会计算它们的损失,然后通过最小化这些损失来训练模型。
    • 例如,在预测土壤中重金属含量与某种土壤特性(如酸碱度)的关系时,SVM回归可以找到一个函数来拟合数据,并且对于那些与函数预测值偏差较大的样本点进行惩罚,从而得到一个比较准确的回归模型,用于根据土壤特性来预测重金属含量。
相关推荐
岁忧9 分钟前
(LeetCode 面试经典 150 题 ) 11. 盛最多水的容器 (贪心+双指针)
java·c++·算法·leetcode·面试·go
chao_78912 分钟前
二分查找篇——搜索旋转排序数组【LeetCode】两次二分查找
开发语言·数据结构·python·算法·leetcode
秋说2 小时前
【PTA数据结构 | C语言版】一元多项式求导
c语言·数据结构·算法
Maybyy2 小时前
力扣61.旋转链表
算法·leetcode·链表
卡卡卡卡罗特4 小时前
每日mysql
数据结构·算法
chao_7895 小时前
二分查找篇——搜索旋转排序数组【LeetCode】一次二分查找
数据结构·python·算法·leetcode·二分查找
lifallen6 小时前
Paimon 原子提交实现
java·大数据·数据结构·数据库·后端·算法
lixzest6 小时前
C++ Lambda 表达式详解
服务器·开发语言·c++·算法
EndingCoder6 小时前
搜索算法在前端的实践
前端·算法·性能优化·状态模式·搜索算法
丶小鱼丶6 小时前
链表算法之【合并两个有序链表】
java·算法·链表