机器学习-离散型变量处理

离散型变量处理思路

离散型变量输入通常为字符串形式,除了少数决策树模型能够直接处理类别型变量之外,对于逻辑回归、支持向量机等模型而言,必须将类别型变量转换为数值型变量才能正确的工作。

1.Ordinary Encoding(Label Encoding)

自然编码,按照类别出现的自然顺序进行编码,通常用于处理类别之间存在大小关系的数据。

编码顺序会按照大小关系对类别型特征赋予自己的数值ID,但是同时保留了大小关系。

2.One-hot Encoding

独热编码,将N个特征编码为N维的稀疏向量,有效解决了自然编码存在大小关系保留的问题,不好处理数据属性的问题,在一定程度上扩充了维度。

但是当类别过多时,会造成维度灾难。

3. Binary Encoding

将原本的独热编码编码为二进制单位,一定程度上增加了信息的稠密度

4.直接采用LGB、catboost等能直接读取类别型变量的树模型

5.Embedding

将模型类别型变量进行嵌入的操作,可以有效压缩one-hot编码造成的数据稀疏的问题

相关推荐
龙湾开发2 分钟前
轻量级高性能推理引擎MNN 学习笔记 02.MNN主要API
人工智能·笔记·学习·机器学习·mnn
CopyLower25 分钟前
Java与AI技术结合:从机器学习到生成式AI的实践
java·人工智能·机器学习
Tech Synapse25 分钟前
联邦学习图像分类实战:基于FATE与PyTorch的隐私保护机器学习系统构建指南
pytorch·机器学习·分类
workflower35 分钟前
使用谱聚类将相似度矩阵分为2类
人工智能·深度学习·算法·机器学习·设计模式·软件工程·软件需求
jndingxin38 分钟前
OpenCV CUDA 模块中在 GPU 上对图像或矩阵进行 翻转(镜像)操作的一个函数 flip()
人工智能·opencv
囚生CY1 小时前
【速写】TRL:Trainer的细节与思考(PPO/DPO+LoRA可行性)
人工智能
杨德兴1 小时前
3.3 阶数的作用
人工智能·学习
望获linux1 小时前
医疗实时操作系统方案:手术机器人的微秒级运动控制
人工智能·机器人·实时操作系统·rtos·嵌入式软件·医疗自动化
仓颉编程语言1 小时前
仓颉Magic亮相GOSIM AI Paris 2025:掀起开源AI框架新热潮
人工智能·华为·开源·鸿蒙·仓颉编程语言
攻城狮7号1 小时前
一文理清人工智能,机器学习,深度学习的概念
人工智能·深度学习·机器学习·ai