【漫话机器学习系列】210.标准化(Standardization)

标准化(Standardization):深入理解数据预处理中的常用技术

在数据科学与机器学习的实践中,**标准化(Standardization)**是一项极为常见且重要的预处理操作。它可以显著提升模型训练的效率与效果,尤其是在涉及距离计算(如KNN、SVM)或梯度下降的算法中。本文将通过图示公式,深入剖析标准化的定义、计算方法及其应用背景。


什么是标准化?

标准化,也称为 Z-score 归一化,是一种将特征值转换为标准正态分布的方法。标准化后的数据其均值为 0标准差为 1,这意味着数据被"平移"到以 0 为中心,并根据原始分布的离散程度"压缩或拉伸"。


标准化的公式

如下图所示,标准化的数学表达式为:

其中各符号含义为:

  • :标准化后的第 iii 个特征值(橙色注释)

  • ​:原始第 iii 个观察值(绿色注释)

  • :特征向量的平均值(红色注释)

  • :特征向量的标准差(蓝色注释)


如何理解标准化?

标准化的核心思想是"去除位置偏移与量纲影响"。对于不同量纲或尺度的数据(如身高与收入),如果不进行标准化直接输入模型,可能会导致模型更关注数值大的特征,忽略本身重要性相当但数值较小的特征。

通过标准化,我们将每一个样本的特征值减去该特征的平均值,然后除以标准差,从而实现单位标准化。这个处理过程的结果是:

  • 标准化后的数据 均值为 0

  • 标准化后的数据 标准差为 1

  • 标准化后的数据符合标准正态分布(或接近)


为什么要进行标准化?

以下几种情况特别推荐使用标准化:

  1. 不同量纲的特征同时存在

    例如:房价预测模型中同时包含"面积(平方米)"与"房间数(个)"。

  2. 需要计算欧几里得距离或点积的模型

    例如:KNN、KMeans、SVM、线性回归、PCA等。

  3. 模型对特征尺度敏感时

    特别是在使用梯度下降优化算法的场景中,标准化有助于加快收敛速度。


实现方法(Python 示例)

python 复制代码
from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

scikit-learn 中,StandardScaler 实现了对每列特征的标准化,即减去均值再除以标准差。它默认沿列方向(每个特征)进行操作。


标准化 vs 归一化(Normalization)

项目 标准化(Standardization) 归一化(Normalization)
定义 减去均值再除以标准差 缩放到 [0, 1] 区间
结果 均值为0,标准差为1 最小值为0,最大值为1
适用 对于有正态分布假设的模型 神经网络输入或图像像素等场景

总结

标准化是一种基础但极其重要的数据预处理方法,它通过"居中+等比例伸缩"将数据调整到标准正态分布状态,为后续建模打下坚实基础。在使用大多数机器学习模型之前,对特征数据进行标准化处理,是提升模型性能与稳定性的关键一步。

相关推荐
DO_Community1 天前
普通服务器都能跑:深入了解 Qwen3-Next-80B-A3B-Instruct
人工智能·开源·llm·大语言模型·qwen
WWZZ20251 天前
快速上手大模型:机器学习3(多元线性回归及梯度、向量化、正规方程)
人工智能·算法·机器学习·机器人·slam·具身感知
deephub1 天前
深入BERT内核:用数学解密掩码语言模型的工作原理
人工智能·深度学习·语言模型·bert·transformer
PKNLP1 天前
BERT系列模型
人工智能·深度学习·bert
兰亭妙微1 天前
ui设计公司审美积累 | 金融人工智能与用户体验 用户界面仪表盘设计
人工智能·金融·ux
AKAMAI1 天前
安全风暴的绝地反击 :从告警地狱到智能防护
运维·人工智能·云计算
岁月宁静1 天前
深度定制:在 Vue 3.5 应用中集成流式 AI 写作助手的实践
前端·vue.js·人工智能
galaxylove1 天前
Gartner发布数据安全态势管理市场指南:将功能扩展到AI的特定数据安全保护是DSPM发展方向
大数据·人工智能
格林威1 天前
偏振相机在半导体制造的领域的应用
人工智能·深度学习·数码相机·计算机视觉·视觉检测·制造
晓枫-迷麟1 天前
【文献阅读】当代MOF与机器学习
人工智能·机器学习