机器学习10-特征缩放

特征缩放 的目的是确保不同特征的数值范围相近 ,使得模型在训练过程中更加稳定,加速模型收敛,提高模型性能。具体而言,零均值 和单位方差的目标有以下几点好处:

1. 均值为零(Zero Mean):通过减去特征的均值,可以使特征分布的中心位于零点。这样做有助于消除不同特征之间的偏差,确保模型不会在某些特征上过度拟合。如果某个特征的均值远离零,模型可能会更关注那些数值较大的特征。

2. 单位方差(Unit Variance):通过除以特征的标准差,可以将特征的尺度统一为相似的范围。这是因为不同特征可能具有不同的数值范围,如果某个特征的值较大,它可能会在模型中占据主导地位,而忽略其他特征。通过保持单位方差,确保了所有特征对模型的贡献相对均衡。

总的来说,零均值和单位方差的特征更容易被模型理解和处理,有助于提高模型的性能和泛化能力。特征缩放通常对那些使用距离度量或梯度下降等优化算法的模型尤为重要,如支持向量机、k最近邻、神经网络等。

单位方差指的是数据的方差被标准化为 1。

在特征缩放中,我们通常使用 StandardScaler 来实现单位方差。StandardScaler 通过减去均值并除以标准差的方式,将数据的分布调整为均值为 0,标准差为 1。

下面是一个简单的例子,演示如何使用 StandardScaler 实现单位方差:

python 复制代码
import numpy as np
from sklearn.preprocessing import StandardScaler

# 创建一组示例数据
data = np.array([[1, 2, 3],
                 [4, 5, 6],
                 [7, 8, 9]])

# 初始化 StandardScaler
scaler = StandardScaler()

# 计算均值和标准差,并进行缩放
scaled_data = scaler.fit_transform(data)

# 输出缩放后的数据
print("原始数据:")
print(data)
print("\n缩放后的数据(单位方差):")
print(scaled_data)

结果:

缩放后的数据(单位方差):

\[-1.22474487 -1.22474487 -1.22474487

0. 0. 0.

1.22474487 1.22474487 1.22474487\]

解释:

在这个例子中,我们创建了一个 3x3 的矩阵作为示例数据。然后,使用 StandardScaler 对数据进行缩放。输出中的缩放后数据的每个特征都具有零均值和单位方差。这是通过 fit_transform 方法完成的,该方法计算数据的均值和标准差,并将数据进行相应的缩放。

在实际应用中,特征缩放是机器学习中的一项常见预处理步骤,有助于确保不同特征之间的尺度不同不会影响模型的性能。

这段程序使用了`StandardScaler`类进行数据的标准化,标准化是一种特征缩放的方法。下面是这段程序的数学运算步骤:

1. 计算均值(Mean):

对每个特征,计算其在所有样本上的平均值。对于示例数据,每一列的均值分别是

2. 计算标准差(Standard Deviation):

对每个特征,计算其在所有样本上的标准差。标准差是每个数据点与均值的偏差的平方的平均值的平方根。对于示例数据,可以计算每列的标准差。

3. 进行缩放操作:

使用标准化公式进行缩放。对于每个特征,将其减去均值,然后除以标准差。这样可以确保每个特征的均值为0,标准差为1。

对于示例数据,缩放后的值可以通过以下公式计算:

其中, x 是原始数据中的每个数据点, mean 是均值, std 是标准差。

结论:

这样,经过标准化处理 后,每个特征的均值为0,标准差为1,即实现了单位方差。

相关推荐
用户360055579001 分钟前
05 · 卸载集合:小投影为何是负收益
人工智能
风花一世月4 分钟前
⚡ 我把一座含氢能源园区搬进了浏览器(五类能流实时算守恒,在线直接玩)
前端·人工智能
付威20237 分钟前
rpi 这些扩展到底怎么选?一张工具地图看懂 16 个 Rust 插件
人工智能
浪子明X7 分钟前
LangChain 接入 Embedding 之前:先画清文本、向量与检索器的契约
人工智能·langchain·embedding
?? Daisy8 分钟前
ZCode 接入第三方 API:添加供应商与配置模型的流程(2026-10)
人工智能
FL16238631299 分钟前
城市道路叶子叶堆检测数据集VOC+YOLO格式351张2类别
人工智能·yolo·机器学习
luiyarch11 分钟前
汽车电子ISO 21448 SOTIF系列(第26期):未知危险场景的确认方法(下)——AI驱动的场景发现
网络·人工智能·安全·车载系统·汽车
AI你一生一世12 分钟前
GPT-6 Astra 深度拆解:当推理模型开始为“长任务”重新设计
人工智能·gpt·大语言模型·astra·推理模型·长任务·gpt-6
柯南466812 分钟前
【AI工程师精讲】06:MoE:为什么"万亿参数"的模型,实际只用了很小一部分
人工智能·ai编程
零域码客16 分钟前
RAG 和微调解决的是同一类问题吗?从大模型底层全链路拆解两者的本质与选择逻辑
大数据·人工智能·机器学习·模型微调·fine-tuning·检索增强生成·llm 架构