机器学习特征预处理之序号编码

示例

复制代码
from sklearn.preprocessing import OrdinalEncoder

def label_encoding(X_train, X_test, cat_cols):
    """标签编码(序号编码)"""
    encoder = OrdinalEncoder(handle_unknown='use_encoded_value', unknown_value=-1)
    X_train[cat_cols] = encoder.fit_transform(X_train[cat_cols])
    X_test[cat_cols] = encoder.transform(X_test[cat_cols])
    return X_train, X_test

调用示例

复制代码
# 导入必要的库
from sklearn.preprocessing import OrdinalEncoder
import pandas as pd

# 准备数据
X_train = pd.DataFrame({
    'color': ['red', 'blue', 'green', 'red'],
    'size': ['S', 'M', 'L', 'M']
})
X_test = pd.DataFrame({
    'color': ['red', 'yellow', 'blue'],
    'size': ['M', 'L', 'XL']  # 'XL' 是未知类别
})

cat_cols = ['color', 'size']

# 应用编码
X_train_encoded, X_test_encoded = label_encoding(X_train, X_test, cat_cols)

print("训练集编码后:\n", X_train_encoded)
print("测试集编码后:\n", X_test_encoded)
# 输出显示 'XL' 被编码为 -1

使用场景建议

适合使用该函数的情况:

  • 决策树、随机森林、XGBoost等树模型(对数值大小不敏感)

  • 有序分类特征

  • 类别数量极多(>100个)

  • 内存受限的环境

不适合使用该函数的情况:

  • 线性模型(如逻辑回归、SVM)

  • 神经网络(需要标准化处理)

  • 类别间无天然顺序关系

  • 对特征解释性要求高

对于encoder 的使用

复制代码
def label_encoding_fit(X_train, cat_cols):
    """训练时调用:返回编码后的数据和 encoder 实例"""
    encoder = OrdinalEncoder(handle_unknown='use_encoded_value', unknown_value=-1)
    X_train_encoded = X_train.copy()
    X_train_encoded[cat_cols] = encoder.fit_transform(X_train_encoded[cat_cols])
    return X_train_encoded, encoder

def label_encoding_transform(X, encoder, cat_cols):
    """推理时调用:加载 encoder 进行转换"""
    X_encoded = X.copy()
    X_encoded[cat_cols] = encoder.transform(X_encoded[cat_cols])
    return X_encoded
相关推荐
火山引擎开发者社区36 分钟前
基于 AgentKit 的端到端需求交付平台:从个人提效到组织提效的 AI 落地实践
人工智能
三声三视1 小时前
75 条文章索引被一条 add 清成 1 条,退出码还是 0:tri-article 的 index.py 我读了 205 行
人工智能·ai·skill·tri-skills·tri-article
蓝速科技1 小时前
医院导诊 AI 数字人一体机场景适配与落地指南丨蓝速科技
运维·数据库·人工智能·科技·自然语言处理·技术分享
QYR-分析1 小时前
重轨受电弓行业深度报告:市场格局、技术迭代与发展前景
大数据·数据库·人工智能
火山引擎开发者社区2 小时前
# 开发者集结!共探 AI Agent 创新应用新可能
人工智能
牛油果子哥q2 小时前
生产级AI项目上线全流程:Docker容器化、服务编排、监控告警、日志收集、容灾降级、线上运维闭环
人工智能·ai
Pocker_Spades_A2 小时前
视频不用再一张张截图:ClipSketch AI 把关键画面转成漫画,还能顺手生成文案
人工智能·音视频
小小测试开发2 小时前
LLM 结构化输出测试:Schema 契约 + 故障注入,让工具调用的 JSON 不再靠重试赌运气
人工智能·json
阿里云大数据AI技术2 小时前
淘宝直播 AI 分身:基于阿里云 Milvus 的商品知识召回实践
人工智能
猎头南楼2 小时前
大模型后训练与 Agent 自迭代:两类工程能力的观察
人工智能·深度学习·机器学习