机器学习-离散型变量处理

离散型变量处理思路

离散型变量输入通常为字符串形式,除了少数决策树模型能够直接处理类别型变量之外,对于逻辑回归、支持向量机等模型而言,必须将类别型变量转换为数值型变量才能正确的工作。

1.Ordinary Encoding(Label Encoding)

自然编码,按照类别出现的自然顺序进行编码,通常用于处理类别之间存在大小关系的数据。

编码顺序会按照大小关系对类别型特征赋予自己的数值ID,但是同时保留了大小关系。

2.One-hot Encoding

独热编码,将N个特征编码为N维的稀疏向量,有效解决了自然编码存在大小关系保留的问题,不好处理数据属性的问题,在一定程度上扩充了维度。

但是当类别过多时,会造成维度灾难。

3. Binary Encoding

将原本的独热编码编码为二进制单位,一定程度上增加了信息的稠密度

4.直接采用LGB、catboost等能直接读取类别型变量的树模型

5.Embedding

将模型类别型变量进行嵌入的操作,可以有效压缩one-hot编码造成的数据稀疏的问题

相关推荐
知孤云出岫15 小时前
为 AI / LLM / Agent 构建安全基础
人工智能·安全
阿里云大数据AI技术15 小时前
云栖实录|人工智能+大数据平台加速企业模型后训练
大数据·人工智能
ARM+FPGA+AI工业主板定制专家15 小时前
基于JETSON/RK3588机器人高动态双目视觉系统方案
人工智能·机器学习·fpga开发·机器人·自动驾驶
东方芷兰15 小时前
LLM 笔记 —— 08 Embeddings(One-hot、Word、Word2Vec、Glove、FastText)
人工智能·笔记·神经网络·语言模型·自然语言处理·word·word2vec
机器之心15 小时前
LLaVA-OneVision-1.5全流程开源,8B模型预训练只需4天、1.6万美元
人工智能·openai
心动啊12115 小时前
Tensorflow循环神经网络RNN
人工智能·rnn·tensorflow
一条星星鱼15 小时前
深度学习中的归一化:从BN到LN到底是怎么工作的?
人工智能·深度学习·算法·归一化
Rock_yzh15 小时前
AI学习日记——深度学习
人工智能·python·深度学习·神经网络·学习
trsoliu16 小时前
Claude Code Templates
前端·人工智能
哈泽尔都16 小时前
运动控制教学——5分钟学会PRM算法!
人工智能·单片机·算法·数学建模·贪心算法·机器人·无人机