高斯核函数(深入浅出)

目录

高斯核函数(Gaussian Kernel),又称径向基核(Radial Basis Function Kernel,RBF Kernel),是机器学习与模式识别中最常用的核函数之一。它通过在高维空间衡量样本间的"相似度",使得一些线性不可分问题在映射到更高维度后变得可分,从而广泛应用于支持向量机(SVM)、核岭回归、高斯过程等算法中。


定义及数学形式

对于任意两个样本 x \mathbf{x} x 与 y \mathbf{y} y,高斯核函数定义为:

k ( x , y ) = exp ⁡ ( − ∥ x − y ∥ 2 2 σ 2 ) k(\mathbf{x}, \mathbf{y}) = \exp\left(-\frac{\|\mathbf{x} - \mathbf{y}\|^2}{2\sigma^2}\right) k(x,y)=exp(−2σ2∥x−y∥2)

有时也会写作:

k ( x , y ) = exp ⁡ ( − γ ∥ x − y ∥ 2 ) k(\mathbf{x}, \mathbf{y}) = \exp\left(-\gamma \|\mathbf{x} - \mathbf{y}\|^2\right) k(x,y)=exp(−γ∥x−y∥2)

其中:

  • ∥ x − y ∥ \|\mathbf{x} - \mathbf{y}\| ∥x−y∥ 表示 x \mathbf{x} x 与 y \mathbf{y} y 的欧几里得距离;
  • σ \sigma σ 用于控制核函数的宽度,也可用参数 γ = 1 2 σ 2 \gamma = \frac{1}{2\sigma^2} γ=2σ21 代替;
  • 当 x = y \mathbf{x} = \mathbf{y} x=y 时,核函数取值为 1;两点距离越大,核函数值衰减越快。

主要特点

  1. 非线性映射

    高斯核可以看作是将样本映射到无穷维的特征空间,从而捕捉到更加丰富的特征关系;在原始空间中线性不可分的问题,可能在映射后的高维空间中被线性分割。

  2. 平滑且连续

    高斯核呈现出光滑、连续、无界的性质,容易处理大多数实际应用的噪声与不确定性。

  3. 调参简洁

    高斯核往往只需要关注一个主要超参数 σ \sigma σ(或 γ \gamma γ),通过调节它的大小,即可控制核所"感知"的局部与全局范围:

    • σ \sigma σ 小( γ \gamma γ 大)会使核函数值衰减更快,模型关注更多的局部信息;
    • σ \sigma σ 大( γ \gamma γ 小)会使核函数值衰减更慢,模型更加平滑,但有时也会导致过度平滑。
  4. 应用广泛

    在支持向量机(SVM)等核方法中,高斯核通常表现出优于其他核函数的稳定效果。在许多实际场景(如图像识别、文本分类、生物信息学等),高斯核都是默认且常用的选择。


应用示例

以下以支持向量机为例,展示高斯核的应用流程:

  1. 数据准备

    准备训练数据集 { ( x i , y i ) } i = 1 n \{(\mathbf{x}i, y_i)\}{i=1}^n {(xi,yi)}i=1n。其中 x i ∈ R d \mathbf{x}_i \in \mathbb{R}^d xi∈Rd, y i ∈ { + 1 , − 1 } y_i \in \{+1, -1\} yi∈{+1,−1}。

  2. 选择高斯核

    在训练 SVM 时,指定核函数为高斯核:
    k ( x i , x j ) = exp ⁡ ( − γ ∥ x i − x j ∥ 2 ) k(\mathbf{x}_i, \mathbf{x}_j) = \exp\left(-\gamma \|\mathbf{x}_i - \mathbf{x}_j\|^2\right) k(xi,xj)=exp(−γ∥xi−xj∥2)

  3. 超参数调优

    使用交叉验证等方法,对 γ \gamma γ(以及 SVM 中的 C 参数)进行调参,以在训练集和验证集上取得最优表现。

  4. 训练与预测

    通过核技巧(Kernel Trick)在对偶空间中求解最优决策边界。之后针对新样本 x new \mathbf{x}{\text{new}} xnew,即可计算:
    f ( x new ) = ∑ i = 1 n α i y i exp ⁡ ( − γ ∥ x i − x new ∥ 2 ) + b f(\mathbf{x}
    {\text{new}}) = \sum_{i=1}^n \alpha_i y_i \exp\left(-\gamma \|\mathbf{x}i - \mathbf{x}{\text{new}}\|^2\right) + b f(xnew)=∑i=1nαiyiexp(−γ∥xi−xnew∥2)+b

    若 f ( x new ) > 0 f(\mathbf{x}_{\text{new}}) > 0 f(xnew)>0,预测为 + 1 +1 +1;反之为 − 1 -1 −1。


小结

高斯核函数通过指数衰减的方式度量样本间的相似度,实现了对样本的非线性映射,常被用作机器学习中的默认核函数之一。它在处理各种高维和复杂分布数据时都有稳定而优异的表现,尤其适用于支持向量机、核岭回归及高斯过程等方法。通过合理选择 σ \sigma σ(或 γ \gamma γ),高斯核能在"过拟合"与"欠拟合"之间找到平衡,帮助模型取得更好的泛化能力。

相关推荐
子燕若水3 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室4 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿5 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫5 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手5 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记5 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元5 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术5 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端
超龄超能程序猿6 小时前
(三)PS识别:基于噪声分析PS识别的技术实现
图像处理·人工智能·计算机视觉