支持向量机(SVM)中核函数的本质意义

本质上在做什么?

内积是距离度量,核函数相当于将低维空间的距离映射到高维空间的距离,并非对特征直接映射。
为什么要求核函数是对称且Gram矩阵是半正定?

核函数对应某一特征空间的内积,要求①核函数对称;②Gram矩阵半正定。

证明内积对应的Gram矩阵半正定:
α T K α = [ α 1 , α 2 , ⋯   , α n ] [ κ ( x 1 , x 1 ) κ ( x 1 , x 2 ) ⋯ κ ( x 1 , x n ) κ ( x 2 , x 1 ) κ ( x 2 , x 2 ) ⋯ κ ( x 1 , x n ) ⋮ ⋮ ⋱ ⋮ κ ( x n , x 1 ) κ ( x n , x 2 ) ⋯ κ ( x n , x n ) ] [ α 1 α 2 ⋮ α n ] = ∑ i = 1 n ∑ j = 1 n α i κ ( x i , x j ) α j = ∑ i = 1 n ∑ j = 1 n α i α j ⟨ ϕ ( x i ) , ϕ ( x j ) ⟩ = ⟨ ∑ i = 1 n α i ϕ ( x i ) , ∑ j = 1 n α j ϕ ( x j ) ⟩ = ∥ ∑ i = 1 n α i ϕ ( x i ) ∥ 2 2 ⩾ 0 \begin{aligned} {{ \bm \alpha}^{\rm T} {\bm K} { \bm \alpha}} &=\begin{bmatrix} {\alpha}_1, {\alpha}_2, \cdots, {\alpha}_n \end{bmatrix} \begin{bmatrix} \kappa \left( {\bm x}_1, {\bm x}_1 \right) &\kappa \left( {\bm x}_1, {\bm x}_2 \right) &\cdots &\kappa \left( {\bm x}_1, {\bm x}_n \right) \\ \kappa \left( {\bm x}_2, {\bm x}_1 \right) &\kappa \left( {\bm x}_2, {\bm x}_2 \right) &\cdots &\kappa \left( {\bm x}_1, {\bm x}_n \right) \\ \vdots &\vdots &\ddots &\vdots \\ \kappa \left( {\bm x}_n, {\bm x}_1 \right) &\kappa \left( {\bm x}_n, {\bm x}_2 \right) &\cdots &\kappa \left( {\bm x}_n, {\bm x}_n \right) \\ \end{bmatrix} \begin{bmatrix} {\alpha}_1 \\ {\alpha}2 \\ \vdots \\ {\alpha}n \\ \end{bmatrix} \\ &= \sum\limits{i=1}^{n} \sum\limits{j=1}^{n} {\alpha}_i \kappa \left( {\bm x}_i, {\bm x}j \right) {\alpha}j \\ &= \sum\limits{i=1}^{n} \sum\limits{j=1}^{n} {\alpha}_i {\alpha}_j \langle \phi \left( {\bm x}_i \right), \phi \left( {\bm x}j \right) \rangle\\ &= \langle \sum\limits{i=1}^{n} {\alpha}_i \phi \left( {\bm x}i \right), \sum\limits{j=1}^{n} {\alpha}_j \phi \left( {\bm x}j \right) \rangle \\ &= \lVert \sum\limits{i=1}^{n} {\alpha}_i \phi \left( {\bm x}_i \right) \rVert^2_2 \\ &\geqslant 0 \end{aligned} αTKα=[α1,α2,⋯,αn] κ(x1,x1)κ(x2,x1)⋮κ(xn,x1)κ(x1,x2)κ(x2,x2)⋮κ(xn,x2)⋯⋯⋱⋯κ(x1,xn)κ(x1,xn)⋮κ(xn,xn) α1α2⋮αn =i=1∑nj=1∑nαiκ(xi,xj)αj=i=1∑nj=1∑nαiαj⟨ϕ(xi),ϕ(xj)⟩=⟨i=1∑nαiϕ(xi),j=1∑nαjϕ(xj)⟩=∥i=1∑nαiϕ(xi)∥22⩾0

相关推荐
FF-Studio1 小时前
大语言模型(LLM)课程学习(Curriculum Learning)、数据课程(data curriculum)指南:从原理到实践
人工智能·python·深度学习·神经网络·机器学习·语言模型·自然语言处理
狗头大军之江苏分军1 小时前
疑似华为盘古AI大模型翻车造假风波【实时记录篇】
人工智能·机器学习·程序员
Y1nhl1 小时前
力扣_链表_python版本
开发语言·python·算法·leetcode·链表·职场和发展
qq_401700412 小时前
C语言中位运算以及获取低8位和高8位、高低位合并
c语言·开发语言·算法
CoovallyAIHub2 小时前
YOLO模型优化全攻略:从“准”到“快”,全靠这些招!
深度学习·算法·计算机视觉
闻缺陷则喜何志丹2 小时前
【BFS】 P10864 [HBCPC2024] Genshin Impact Startup Forbidden II|普及+
c++·算法·宽度优先·洛谷
MicroTech20252 小时前
微算法科技(NASDAQ: MLGO)探索Grover量子搜索算法,利用量子叠加和干涉原理,实现在无序数据库中快速定位目标信息的效果。
数据库·科技·算法
今天背单词了吗9803 小时前
算法学习笔记:8.Bellman-Ford 算法——从原理到实战,涵盖 LeetCode 与考研 408 例题
java·开发语言·后端·算法·最短路径问题
手握风云-3 小时前
优选算法的链脉之韵:链表专题
数据结构·算法·链表
Coding小公仔3 小时前
LeetCode 151. 反转字符串中的单词
开发语言·c++·算法