机器学习——SVM核函数

核函数这块,原理理解起来,相对比较简单

但还是会有一些不太理解的地方

对于非线性可分的数据而言,在当前维度,直接使用SVM有分不出的情况

那么就可以从当前维度,直接升到更高维度,进行计算。

例如原本数据只有3个影响因素 x a , x b , x c x_a,x_b,x_c xa,xb,xc(性别)(年龄)(样貌),那么根据这三个维度的数据,可以拓展成更高维度(更多个不具名的影响因素),例如xc、xd、xe、xf、xg,再代入SVM的对偶问题里进行计算

其实有一本书《人工智能数学基础》里,描述的还是挺清晰的

另外讲到高斯核函数的时候,还给出了推导

这里的推导,实际就是在印证高斯核函数中,是如何拓展成高维向量,并且高维向量的点积,是如何用当前低维数据进行计算的。

K ( x , y ) = e − ∣ ∣ x − y ∣ ∣ 2 = e − x 2 e − y 2 1 + ( 2 x . y ) 1 1 ! + ( 2 x . y ) 2 2 ! + ( 2 x . y ) 3 3 ! . . . K(x,y) = e^{-||x-y||²}=e^{-x^2}e^{-y^2}1+\\frac{(2x.y)\^1}{1!}+\\frac{(2x.y)\^2}{2!}+\\frac{(2x.y)\^3}{3!}... K(x,y)=e−∣∣x−y∣∣2=e−x2e−y21+1!(2x.y)1+2!(2x.y)2+3!(2x.y)3...

这里高维向量的点积,体现在 e − x 2 e − y 2 1 + ( 2 x . y ) 1 1 ! + ( 2 x . y ) 2 2 ! + ( 2 x . y ) 3 3 ! . . . e^{-x^2}e^{-y^2}1+\\frac{(2x.y)\^1}{1!}+\\frac{(2x.y)\^2}{2!}+\\frac{(2x.y)\^3}{3!}... e−x2e−y21+1!(2x.y)1+2!(2x.y)2+3!(2x.y)3...

在SVM对偶函数求解里,正是需要求解点积

假设原数据的x总共分为3个影响因素 x a , x b , x c x_a,x_b,x_c xa,xb,xc

则两条数据分别为 ( x a 1 , x b 1 , x c 1 ) (x_{a1},x_{b1},x_{c1}) (xa1,xb1,xc1), ( x a 2 , x b 2 , x c 2 ) (x_{a2},x_{b2},x_{c2}) (xa2,xb2,xc2)

则它们的点积为 x a 1 x a 2 + x b 1 x b 2 + x c 1 x c 2 x_{a1}x_{a2}+x_{b1}x_{b2}+x_{c1}x_{c2} xa1xa2+xb1xb2+xc1xc2

但如果,现在将3个影响因素通过某种关系,上升到无穷个影响因素, x e , x f , x g , x h , x k x_e,x_f,x_g,x_h,x_k xe,xf,xg,xh,xk

这两条数据就变为了
x e 1 , x f 1 , x g 1 , x h 1 , x k 1 . . . x_{e1},x_{f1},x_{g1},x_{h1},x_{k1}... xe1,xf1,xg1,xh1,xk1...
x e 2 , x f 2 , x g 2 , x h 2 , x k 2 . . . x_{e2},x_{f2},x_{g2},x_{h2},x_{k2}... xe2,xf2,xg2,xh2,xk2...

则它们的点积为
x e 1 x e 2 + x f 1 x f 2 + x g 1 + x h 1 x h 2 + x k 1 x k 2 + . . . x_{e1}x_{e2}+x_{f1}x_{f2}+x_{g1}+x_{h1}x_{h2}+x_{k1}x_{k2}+... xe1xe2+xf1xf2+xg1+xh1xh2+xk1xk2+...

但由于高维度的点积计算量太大,找到一个原低维的计算式等于高维的点积结果,那个计算式就是核函数!

高斯核函数中的 e − x 2 e − y 2 1 + ( 2 x . y ) 1 1 ! + ( 2 x . y ) 2 2 ! + ( 2 x . y ) 3 3 ! . . . e^{-x^2}e^{-y^2}1+\\frac{(2x.y)\^1}{1!}+\\frac{(2x.y)\^2}{2!}+\\frac{(2x.y)\^3}{3!}... e−x2e−y21+1!(2x.y)1+2!(2x.y)2+3!(2x.y)3...无穷维的两条数据点积,对应的计算式正是 e − ∣ ∣ x − y ∣ ∣ 2 e^{-||x-y||²} e−∣∣x−y∣∣2,这正是核函数

只是高斯核函数还有一个参数σ,也叫核半径

e − ∣ ∣ x − y ∣ ∣ 2 2 σ e^{\frac{-||x-y||²}{2σ}} e2σ−∣∣x−y∣∣2,当x,y两条数据差距非常小,很接近时,核函数值接近1,

当x,y两条数据差距非常大时,核函数值接近0

这就像是正态分布(高斯分布)

那么σ的作用,就是调节用的:

极端来看,当σ值非常非常非常非常大时,如果x和y两条数据差距比较大,核函数值也依然接近1

因此,核函数正是一个低维升高维求解线性关系,并用低维数据计算替代高维点积的计算式。

相关推荐
feasibility.几秒前
AI 解牛:刀刃不再需要手——技艺、判断与一次学习机制的重构
人工智能·职场发展·具身智能·skill·道·术
大嘴皮猴儿1 分钟前
为跨境电商卖家分析目前AI跨境翻译网站哪个好
大数据·人工智能·教育电商·ai图片翻译工具哪个好·ai图片翻译软件免费
秦先生在广东3 分钟前
《科技爱好者周刊》内容全景:从AI机制到开源协作的200期观察
人工智能
小宋10218 分钟前
Agent Skills 从零实战:SKILL.md、渐进式加载、测试与版本治理
大数据·网络·人工智能
释厄6239 分钟前
BSD 基础论——不要忘记连接·不要停滞循环·AI基础算法
人工智能·算法
悟天特斯12 分钟前
楼宇自控的“最后一公里“:从设备控制到数据驱动的建筑智能体
人工智能·物联网
程序猿阿森12 分钟前
FastText 全面解析:从文本张量表示到文本分类实战
人工智能·分类·数据挖掘
故七月13 分钟前
生成式引擎优化 (GEO) 跨区域落地实战:陕西金贝儿母婴家政全域 AI 品牌信源搭建案例
大数据·人工智能
张小姐的猫15 分钟前
【Linux】网络编程 —— 五种IO模型
linux·运维·服务器·网络·c++·人工智能·php
qq_3691736319 分钟前
一句话将 Word、PPT、PDF 发布成链接
人工智能·pdf·word·powerpoint·效率工具·ai 办公