python学智能算法(十九)|SVM基础概念-超平面

引言

前序学习进程中,对向量相关的基本知识进行了学习,链接为:
向量的值和方向
向量点积

在实际的支持向量机算法使用中,最核心的目标是找出可以实现分类的超平面,超平面就是分割的点、线或者面,不要在这个名字上花费太多力气。

在中学数学里,我们知道含有两个未知数的二元一次方程y=kx+b可以表达直线,含有三个未知数的三元一次方程Ax+By+Cz=0可以表达面。

稍微换一个思路,两个未知数按照线性关系组合,它们应当位于一条直线上;三个未知数则可以把这条直线旋转360度,线动成面,三元一次方程可以表达面。

对于数据的分割,也可以细分讨论:

  • 当所有点都沿着一条线分布,在这条线上取一个中间点就可以把点分割成两部分;
    当所有点在xoy坐标平面上分布,需要画一条直线才能将所有点分割成两部分;
    当做有点在0xyz坐标系上分布,需要画一个平面才能将所有点分割成两部分。

超平面方程定义

从大家都很熟悉的直线定义介入:y=kx+b。

  • 第一步,将其改写为:x2=kx1+b
  • 第二步,移项为kx1-x2+b=0
  • 第三步,定义变量向量X=(x1,x2),权重向量W=(w1,w2)=(k,-1),把原式转化为:
    W ⋅ X + b = 0 W\cdot X+b=0 W⋅X+b=0
    至此,直线的表达换成了向量点积,并且向量W和X可以是任意维度。换句话说,支持向量机实现分割的超平面,就是用向量点积表达的点、线或者面。本质上,超平面是个点集。

增强向量

在前序讨论中,大家已经看到通过矩阵点积可以表达分割超平面,但这个公式不够简洁,还需要把b单独列出,基于此,我们想办法构造新的向量,使得超平面的表达是一个单纯的矩阵点积。

这种人为增加一个向量元素的新向量,就是增强向量。

对于变量向量X,增加一个变量x0=1,此时得到:
X ˉ = ( x 0 , x 1 , x 2 ) = ( 1 , x 1 , x 2 ) \bar{X}=(x0,x1,x2)=(1,x1,x2) Xˉ=(x0,x1,x2)=(1,x1,x2)

对于权重向量W,增加一个变量w0=b,此时得到:
W ˉ = ( w 0 , w 1 , w 2 ) = ( b , k , − 1 ) \bar{W}=(w0,w1,w2)=(b,k,-1) Wˉ=(w0,w1,w2)=(b,k,−1)

此时超平面的向量表达式转化为:
W ˉ ⋅ X ˉ = 0 \bar{W} \cdot \bar{X}=0 Wˉ⋅Xˉ=0

总结

学习了超平面用向量点积表示的基础知识。

相关推荐
Sheldon Chao几秒前
Lecture 7 基于策略梯度的算法
人工智能·算法·机器学习
Bruce_Liuxiaowei4 分钟前
WorkBuddy案例——自动化内容创作平台
人工智能·ai·大模型·智能体·workbuddy
茗创科技4 分钟前
脑室周围扩散率(PVeD)专题:一种评估类淋巴系统功能的DTI新方法(附高分文献下载)
深度学习·机器学习·matlab·脑网络
始三角龙5 分钟前
LeetCode hoot 100 -- 缺失的第一个正整数
算法·leetcode·职场和发展
shchojj5 分钟前
Advanced Technologies: Beyond Prompting -- Retrieval Augmented Generation(RAG)
人工智能
狒狒热知识8 分钟前
软文营销底层逻辑重构专业发稿平台成品牌流量核心抓手
人工智能
fan65404148 分钟前
GEO服务商技术评估的四维量化框架:以杭州文澜天下科技为例
运维·人工智能·科技
沪漂阿龙9 分钟前
面试题详解:大模型思维链 CoT 推理模型训练全解析——如何微调出带思维链的 LLM、优缺点、SFT 与 RLHF 能不能跳过
人工智能
2601_9583529010 分钟前
A-68双麦波束模组深度解析:90dB降噪、60°夹角、3-5米拾音,一篇讲透
人工智能·语音识别·嵌入式开发·音频降噪·回音消除
事变天下12 分钟前
奥哲重构电建新范式!AI赋能电力建设全场景智能化升级
大数据·人工智能