在使用 StandardScaler(标准化缩放器)标准化时,fit_transform 和 transform 是两个常用但含义不同的方法,主要区别如下:
1. fit_transform(X)
功能 :同时完成「拟合」和「转换」两个操作
过程:
- 先根据输入数据 X 计算出均值(mean)和标准差(std)
- 再使用这些计算出的均值和标准差对数据 X进行标准化处理(将数据转换为均值为 0、标准差为 1 的分布)
适用场景:对训练数据进行标准化时使用
2. transform(X)
功能 :仅进行「转换」操作
过程:
- 使用之前通过 fit 或 fit_transform 计算好的均值和标准差,对新数据 X 进行标准化
- 不会重新计算均值和标准差再标准化
适用场景:对测试数据或新数据进行标准化时使用
关键区别与注意事项
- fit_transform 是 fit + transform 的组合,会改变缩放器内部的状态(存储计算出的均值和标准差)
- transform 必须在 fit 或 fit_transform 之后使用,否则会报错
- 核心原则:用训练数据的统计量(均值、标准差)来标准化测试数据,保证数据处理的一致性,保持一致性,确保模型能够正确评估和泛化。
代码示例
python
# -*- coding: utf-8 -*-
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
# 创建示例数据
x = [[1, 0],
[2, 0],
[3, 0],
[4, 0],
[5, 0],
[6, 0]]
y = [0, 1, 0, 1, 0, 1]
# 划分数据集
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.5, random_state=123)
print('x_train:', x_train)
# 初始化标准化器
scaler = StandardScaler()
# 对训练数据拟合并转换
x_train_scaled = scaler.fit_transform(x_train)
np.set_printoptions(precision=2, suppress=True)
print("\n train每列统计量:")
print(f"均值: {scaler.mean_}")
print(f"标准差: {np.sqrt(scaler.var_)}")
print("x_train_scaled:", x_train_scaled)
# 对测试数据进行转换(使用训练数据的统计量)
x_test_scaled = scaler.transform(x_test)
print('x_test:', x_test)
print("\n test复用train均值和标准差后每列统计量:")
print("x_test_scaled:", x_test_scaled)
# 对测试数据拟合并转换
x_test_scaled_2 = scaler.fit_transform(x_test)
print("\n test重新计算均值和标准差后每列统计量:")
print(f"均值: {scaler.mean_}")
print(f"标准差: {np.sqrt(scaler.var_)}")
print("x_test_scaled_2:", x_test_scaled_2)
结果展示
