机器学习特征预处理之序号编码

示例

复制代码
from sklearn.preprocessing import OrdinalEncoder

def label_encoding(X_train, X_test, cat_cols):
    """标签编码(序号编码)"""
    encoder = OrdinalEncoder(handle_unknown='use_encoded_value', unknown_value=-1)
    X_train[cat_cols] = encoder.fit_transform(X_train[cat_cols])
    X_test[cat_cols] = encoder.transform(X_test[cat_cols])
    return X_train, X_test

调用示例

复制代码
# 导入必要的库
from sklearn.preprocessing import OrdinalEncoder
import pandas as pd

# 准备数据
X_train = pd.DataFrame({
    'color': ['red', 'blue', 'green', 'red'],
    'size': ['S', 'M', 'L', 'M']
})
X_test = pd.DataFrame({
    'color': ['red', 'yellow', 'blue'],
    'size': ['M', 'L', 'XL']  # 'XL' 是未知类别
})

cat_cols = ['color', 'size']

# 应用编码
X_train_encoded, X_test_encoded = label_encoding(X_train, X_test, cat_cols)

print("训练集编码后:\n", X_train_encoded)
print("测试集编码后:\n", X_test_encoded)
# 输出显示 'XL' 被编码为 -1

使用场景建议

适合使用该函数的情况:

  • 决策树、随机森林、XGBoost等树模型(对数值大小不敏感)

  • 有序分类特征

  • 类别数量极多(>100个)

  • 内存受限的环境

不适合使用该函数的情况:

  • 线性模型(如逻辑回归、SVM)

  • 神经网络(需要标准化处理)

  • 类别间无天然顺序关系

  • 对特征解释性要求高

对于encoder 的使用

复制代码
def label_encoding_fit(X_train, cat_cols):
    """训练时调用:返回编码后的数据和 encoder 实例"""
    encoder = OrdinalEncoder(handle_unknown='use_encoded_value', unknown_value=-1)
    X_train_encoded = X_train.copy()
    X_train_encoded[cat_cols] = encoder.fit_transform(X_train_encoded[cat_cols])
    return X_train_encoded, encoder

def label_encoding_transform(X, encoder, cat_cols):
    """推理时调用:加载 encoder 进行转换"""
    X_encoded = X.copy()
    X_encoded[cat_cols] = encoder.transform(X_encoded[cat_cols])
    return X_encoded
相关推荐
irislinAmelia6 小时前
缺陷检测AI关键点在哪
人工智能·嵌入式硬件·1024程序员节
Ai-_Man6 小时前
Meta Muse还是不可以导出左侧所有对话,只能点进去单条内容导出,方法不对吗?
开发语言·人工智能·ai·小程序·c#·1024程序员节
安托智造6 小时前
MBD:从二维图纸到三维模型的制造革命(下)
大数据·人工智能·制造·mbd
火山引擎开发者社区6 小时前
VeOps 深度调查:让 AI 排障从“能用”走向“可靠”
人工智能
梓豪csd6 小时前
消息订阅中心:谁该收到哪条通知
java·开发语言·人工智能·低代码·自动化·1024程序员节
王中阳Go6 小时前
两个入口答案不一致先别调模型:6 行入口口径对账表(附脚本)
人工智能·后端·python·大语言模型·1024程序员节
武天旭6 小时前
AI安全--AI大模型的隐私保护与法律法规
人工智能·安全
Solange__6 小时前
影视预演怎么用AI生成3D场景?从分镜、Blockout到镜头交付的完整流程
人工智能·游戏·3d·ai·自然语言处理·aigc·游戏策划
冬奇Lab7 小时前
一次 Skill 评测的复盘:我推翻了一份现成的模型选型结论,然后自己造了个评测平台
人工智能·llm·agent
奇树谦7 小时前
朴素贝叶斯(Naive Bayes)详解
机器学习·1024程序员节