目录
高斯核函数（Gaussian Kernel），又称径向基核（Radial Basis Function Kernel，RBF Kernel），是机器学习与模式识别中最常用的核函数之一。它通过在高维空间衡量样本间的"相似度"，使得一些线性不可分问题在映射到更高维度后变得可分，从而广泛应用于支持向量机（SVM）、核岭回归、高斯过程等算法中。
定义及数学形式
对于任意两个样本 x \mathbf{x} x 与 y \mathbf{y} y，高斯核函数定义为：
k ( x , y ) = exp ( − ∥ x − y ∥ 2 2 σ 2 ) k(\mathbf{x}, \mathbf{y}) = \exp\left(-\frac{\|\mathbf{x} - \mathbf{y}\|^2}{2\sigma^2}\right) k(x,y)=exp(−2σ2∥x−y∥2)
有时也会写作：
k ( x , y ) = exp ( − γ ∥ x − y ∥ 2 ) k(\mathbf{x}, \mathbf{y}) = \exp\left(-\gamma \|\mathbf{x} - \mathbf{y}\|^2\right) k(x,y)=exp(−γ∥x−y∥2)
其中：
- ∥ x − y ∥ \|\mathbf{x} - \mathbf{y}\| ∥x−y∥ 表示 x \mathbf{x} x 与 y \mathbf{y} y 的欧几里得距离；
- σ \sigma σ 用于控制核函数的宽度，也可用参数 γ = 1 2 σ 2 \gamma = \frac{1}{2\sigma^2} γ=2σ21 代替；
- 当 x = y \mathbf{x} = \mathbf{y} x=y 时，核函数取值为 1；两点距离越大，核函数值衰减越快。
主要特点
-
非线性映射
高斯核可以看作是将样本映射到无穷维的特征空间，从而捕捉到更加丰富的特征关系；在原始空间中线性不可分的问题，可能在映射后的高维空间中被线性分割。
-
平滑且连续
高斯核呈现出光滑、连续、无界的性质，容易处理大多数实际应用的噪声与不确定性。
-
调参简洁
高斯核往往只需要关注一个主要超参数 σ \sigma σ（或 γ \gamma γ），通过调节它的大小，即可控制核所"感知"的局部与全局范围：
- σ \sigma σ 小（ γ \gamma γ 大）会使核函数值衰减更快，模型关注更多的局部信息；
- σ \sigma σ 大（ γ \gamma γ 小）会使核函数值衰减更慢，模型更加平滑，但有时也会导致过度平滑。
-
应用广泛
在支持向量机（SVM）等核方法中，高斯核通常表现出优于其他核函数的稳定效果。在许多实际场景（如图像识别、文本分类、生物信息学等），高斯核都是默认且常用的选择。
应用示例
以下以支持向量机为例，展示高斯核的应用流程：
-
数据准备
准备训练数据集 { ( x i , y i ) } i = 1 n \{(\mathbf{x}i, y_i)\}{i=1}^n {(xi,yi)}i=1n。其中 x i ∈ R d \mathbf{x}_i \in \mathbb{R}^d xi∈Rd， y i ∈ { + 1 , − 1 } y_i \in \{+1, -1\} yi∈{+1,−1}。
-
选择高斯核
在训练 SVM 时，指定核函数为高斯核：
k ( x i , x j ) = exp ( − γ ∥ x i − x j ∥ 2 ) k(\mathbf{x}_i, \mathbf{x}_j) = \exp\left(-\gamma \|\mathbf{x}_i - \mathbf{x}_j\|^2\right) k(xi,xj)=exp(−γ∥xi−xj∥2) -
超参数调优
使用交叉验证等方法，对 γ \gamma γ（以及 SVM 中的 C 参数）进行调参，以在训练集和验证集上取得最优表现。
-
训练与预测
通过核技巧（Kernel Trick）在对偶空间中求解最优决策边界。之后针对新样本 x new \mathbf{x}{\text{new}} xnew，即可计算：
f ( x new ) = ∑ i = 1 n α i y i exp ( − γ ∥ x i − x new ∥ 2 ) + b f(\mathbf{x}{\text{new}}) = \sum_{i=1}^n \alpha_i y_i \exp\left(-\gamma \|\mathbf{x}i - \mathbf{x}{\text{new}}\|^2\right) + b f(xnew)=∑i=1nαiyiexp(−γ∥xi−xnew∥2)+b若 f ( x new ) > 0 f(\mathbf{x}_{\text{new}}) > 0 f(xnew)>0，预测为 + 1 +1 +1；反之为 − 1 -1 −1。
小结
高斯核函数通过指数衰减的方式度量样本间的相似度，实现了对样本的非线性映射，常被用作机器学习中的默认核函数之一。它在处理各种高维和复杂分布数据时都有稳定而优异的表现，尤其适用于支持向量机、核岭回归及高斯过程等方法。通过合理选择 σ \sigma σ（或 γ \gamma γ），高斯核能在"过拟合"与"欠拟合"之间找到平衡，帮助模型取得更好的泛化能力。