【漫话机器学习系列】210.标准化（Standardization）

标准化（Standardization）：深入理解数据预处理中的常用技术

在数据科学与机器学习的实践中，**标准化（Standardization）**是一项极为常见且重要的预处理操作。它可以显著提升模型训练的效率与效果，尤其是在涉及距离计算（如KNN、SVM）或梯度下降的算法中。本文将通过图示公式，深入剖析标准化的定义、计算方法及其应用背景。

---

什么是标准化？

标准化，也称为 Z-score 归一化，是一种将特征值转换为标准正态分布的方法。标准化后的数据其均值为 0 ，标准差为 1，这意味着数据被"平移"到以 0 为中心，并根据原始分布的离散程度"压缩或拉伸"。

---

标准化的公式

如下图所示，标准化的数学表达式为：

其中各符号含义为：

• ：标准化后的第 iii 个特征值（橙色注释）

• ​：原始第 iii 个观察值（绿色注释）

• ：特征向量的平均值（红色注释）

• ：特征向量的标准差（蓝色注释）

---

如何理解标准化？

标准化的核心思想是"去除位置偏移与量纲影响"。对于不同量纲或尺度的数据（如身高与收入），如果不进行标准化直接输入模型，可能会导致模型更关注数值大的特征，忽略本身重要性相当但数值较小的特征。

通过标准化，我们将每一个样本的特征值减去该特征的平均值，然后除以标准差，从而实现单位标准化。这个处理过程的结果是：

• 标准化后的数据 均值为 0

• 标准化后的数据 标准差为 1

• 标准化后的数据符合标准正态分布（或接近）

---

为什么要进行标准化？

以下几种情况特别推荐使用标准化：

1. 不同量纲的特征同时存在

   例如：房价预测模型中同时包含"面积（平方米）"与"房间数（个）"。

2. 需要计算欧几里得距离或点积的模型

   例如：KNN、KMeans、SVM、线性回归、PCA等。

3. 模型对特征尺度敏感时

   特别是在使用梯度下降优化算法的场景中，标准化有助于加快收敛速度。

---

实现方法（Python 示例）

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

在 scikit-learn 中，StandardScaler 实现了对每列特征的标准化，即减去均值再除以标准差。它默认沿列方向（每个特征）进行操作。

---

标准化 vs 归一化（Normalization）

项目	标准化（Standardization）	归一化（Normalization）
定义	减去均值再除以标准差	缩放到 [0, 1] 区间
结果	均值为0，标准差为1	最小值为0，最大值为1
适用	对于有正态分布假设的模型	神经网络输入或图像像素等场景

---

总结

标准化是一种基础但极其重要的数据预处理方法，它通过"居中+等比例伸缩"将数据调整到标准正态分布状态，为后续建模打下坚实基础。在使用大多数机器学习模型之前，对特征数据进行标准化处理，是提升模型性能与稳定性的关键一步。