【机器学习】在 scikit-learn 中，有哪些特征编码方法？分布详细举例列出

安静的_显眼包O_o2024-09-01 19:24

一、在scikit-learn中，有多种特征编码方法可以用来处理分类数据，以下是一些常见的编码方法及其示例：

  1. One-Hot Encoding (独热编码):

    • 使用 OneHotEncoder 类将分类特征转换为二进制向量。
    • 例如，对于颜色特征 ['red', 'blue', 'green']，编码后可能变成 [1, 0, 0], [0, 1, 0], [0, 0, 1]。

  2. Label Encoding (标签编码):

    • 使用 LabelEncoder 类将分类特征的每个类别映射到一个整数。
    • 例如，对于性别特征 ['male', 'female']，编码后可能变成 [0, 1]。

  3. Ordinal Encoding (序数编码):

    • 将分类特征的每个类别映射到一个有序的整数。
    • 这种方法可能会引入不存在的顺序关系，因此使用时需要谨慎。

  4. Binary Encoding:

    • 将分类特征转换为二进制数，然后将这些二进制数拆分成多个二进制特征。

  5. Feature Hashing (特征哈希):

    • 使用 FeatureHasher 类通过哈希函数将类别映射到一个固定大小的空间中。

  6. Target Encoding (目标编码):

    • 基于特征和目标值之间的对应关系进行编码，通常用于监督学习。

  7. Custom Encoding (自定义编码):

    • 可以创建自定义的编码方案，例如，根据特定的业务逻辑或模型需求。

  8. Leave-One-Out Encoding:

    • 类别特征的每个值被替换为目标变量在该值出现时的平均值。

  9. HashingVectorizer:

    • 用于文本数据，通过哈希函数将文本转换为固定长度的数字向量。

  10. DictVectorizer:

    • 将字典形式的数据转换为矩阵，适用于文本数据。

  11. CountVectorizer:

    • 用于文本数据，计算每个词在文档中出现的次数。

  12. TfidfVectorizer:

    • 用于文本数据，计算每个词的TF-IDF值。

这些方法中，OneHotEncoder 和 LabelEncoder 是最常用的。OneHotEncoder 适用于模型需要处理二进制特征的情况，而 LabelEncoder 适用于模型可以处理整数特征的情况。其他编码方法则根据特定的数据和模型需求选择使用。

二、One-Hot Encoding 处理非数值型特征

eg1:

在scikit-learn中，使用OneHotEncoder类可以对非数值型（分类）特征进行One-Hot Encoding处理。以下是具体的步骤和示例代码：

步骤 1: 导入OneHotEncoder类

首先，你需要从sklearn.preprocessing模块导入OneHotEncoder类。

python 复制代码 
from sklearn.preprocessing import OneHotEncoder

步骤 2: 创建OneHotEncoder实例

创建OneHotEncoder的实例。你可以设置一些参数，例如：

  • sparse：默认为True，返回稀疏矩阵；如果设置为False，返回密集数组。
  • drop：默认为None，不丢弃任何特征；可以设置为'first'来丢弃每个特征的第一个类别，有时用于减少多重共线性。
python 复制代码 
encoder = OneHotEncoder(sparse=False, drop=None)

步骤 3: 拟合编码器

使用你的数据（特征）来拟合编码器。这一步会识别数据中存在的所有不同的类别。

python 复制代码 
encoder.fit([['low', 'medium', 'high'],
              ['medium', 'high', 'low'],
              ['high', 'low', 'medium']])

步骤 4: 转换数据

使用transform方法将分类特征转换为One-Hot编码格式。

python 复制代码 
encoded_data = encoder.transform([['high', 'medium', 'low']])

步骤 5: 查看结果

如果你设置了sparse=False，你可以直接打印或者查看转换后的数组。如果是稀疏矩阵，可以使用.toarray()方法转换为密集数组。

python 复制代码 
print(encoded_data)
# 或者如果是稀疏矩阵
print(encoded_data.toarray())

完整示例代码

python 复制代码 
from sklearn.preprocessing import OneHotEncoder

# 创建OneHotEncoder实例
encoder = OneHotEncoder(sparse=False)

# 拟合数据
encoder.fit([['low', 'medium', 'high'],
              ['medium', 'high', 'low'],
              ['high', 'low', 'medium']])

# 转换数据
encoded_data = encoder.transform([['high', 'medium', 'low']])

# 查看转换后的数据
print(encoded_data)

输出

[[0. 0. 1. 1. 0. 0. 0. 1. 0.]]

在这个示例中，我们有三个分类特征，每个特征有三个可能的类别（'low', 'medium', 'high'）。One-Hot Encoding后，每个特征都被转换为三个二进制特征，其中一个是1（表示类别），其他是0。

请注意，如果你的数据集很大或者分类特征的类别非常多，One-Hot Encoding可能会导致特征数量急剧增加，从而增加模型的复杂性和计算负担。在这种情况下，可能需要考虑其他编码方法，如目标编码或嵌入编码。

eg2:

OneHotEncoder 是 scikit-learn 库中的一个类，用于对分类特征进行编码，将其转换为机器学习模型可以处理的格式。这种编码方式称为"独热编码"（One-Hot Encoding），它将分类变量的每个类别转换为一个二进制向量，其中一个元素设为 1，其余元素设为 0。

以下是 OneHotEncoder 的一些关键参数和属性：

参数：

  • categories: 指定每个特征的类别。可以是 'auto'（默认），让编码器自动从数据中确定类别，或者是一个列表的列表，其中每个子列表包含一个特征的所有预期类别。
  • drop: 指定是否删除每个特征的第一个类别，以减少特征数量并避免多重共线性。可以是 'first'、'if_binary' 或 None（默认）。
  • sparse: 布尔值，指定输出格式是否为稀疏矩阵（True 默认）或密集数组。
  • dtype : 输出的数据类型，默认为 numpy.float64。
  • handle_unknown: 指定在转换期间如何处理未知类别。可以是 'error'（默认，如果遇到未知类别则抛出错误）、'ignore' 或 'infrequent_if_exist'。

属性：

  • categories_: 存储在拟合过程中确定的每个特征的类别列表。
  • drop_idx_ : 如果使用了 drop 参数，这个属性会存储每个特征被删除类别的索引。

方法：

  • fit: 计算并存储每个特征的类别。
  • transform: 将独热编码应用于数据。
  • inverse_transform: 将独热编码的数据转换回原始类别。
  • get_feature_names_out: 获取转换后的特征名称。

示例代码：

python 复制代码 
from sklearn.preprocessing import OneHotEncoder

# 创建 OneHotEncoder 实例
encoder = OneHotEncoder(sparse=False)

# 拟合数据
encoder.fit([['low', 'medium', 'high'],
              ['medium', 'high', 'low'],
              ['high', 'low', 'medium']])

# 转换数据
encoded = encoder.transform([['high', 'medium', 'low']])

# 查看转换后的数据
print(encoded)

# 查看每个特征的类别
print(encoder.categories_)

# 获取转换后的特征名称
print(encoder.get_feature_names_out(['feature1', 'feature2', 'feature3']))

输出:

放大版输出：

[[1. 0. 0. 0. 0. 1. 0. 1. 0.]]
[array(['high', 'low', 'medium'], dtype=object), array(['high', 'low', 'medium'], dtype=object), array(['high', 'low', 'medium'], dtype=object)]
['feature1_high' 'feature1_low' 'feature1_medium' 'feature2_high'
 'feature2_low' 'feature2_medium' 'feature3_high' 'feature3_low'
 'feature3_medium']

在这个例子中，OneHotEncoder 将三个特征的类别学习为 ['high', 'low', 'medium']，并将其转换为独热编码格式。如果设置了 sparse=False，transform 方法将返回一个密集的 NumPy 数组。通过 get_feature_names_out 方法可以获取转换后的特征名称。

eg3:独热编码（One-Hot Encoding）

独热编码将每个类别转换为一个二进制向量，其中每个类别对应一个维度。适用于无序类别。

使用方法：

python 复制代码 
from sklearn.preprocessing import OneHotEncoder

# 示例数据
categories = [['apple'], ['banana'], ['orange'], ['banana'], ['apple']]

# 创建 OneHotEncoder 实例
one_hot_encoder = OneHotEncoder(sparse=False)

# 拟合并转换数据
one_hot_encoded = one_hot_encoder.fit_transform(categories)
print(one_hot_encoded)  # 输出: [[1. 0. 0.]
                         #        [0. 1. 0.]
                         #        [0. 0. 1.]
                         #        [0. 1. 0.]
                         #        [1. 0. 0.]]

三、标签编码（Label Encoding）处理非数值型特征

标签编码（Label Encoding）

标签编码将每个类别映射为一个唯一的整数。这种方法适用于有序类别，但对于无序类别可能导致模型误解类别间的关系。

使用方法：

python 复制代码 
from sklearn.preprocessing import LabelEncoder

示例数据
categories = ['apple', 'banana', 'orange', 'banana', 'apple']

创建 LabelEncoder 实例
label_encoder = LabelEncoder()

拟合并转换数据
encoded_labels = label_encoder.fit_transform(categories)
print(encoded_labels)  # 输出: [0 1 2 1 0]

四、 二进制编码（Binary Encoding）

二进制编码首先将类别标签转换为整数，然后将整数转换为二进制形式。对于类别数较多时，比独热编码更高效。

使用方法：

需要安装 category_encoders 库：

python 复制代码 
pip install category_encoders
python 复制代码 
import category_encoders as ce

# 示例数据
categories = ['apple', 'banana', 'orange', 'banana', 'apple']

# 创建 BinaryEncoder 实例
binary_encoder = ce.BinaryEncoder()

# 拟合并转换数据
binary_encoded = binary_encoder.fit_transform(categories)
print(binary_encoded)

输出：

   0_0  0_1
0    0    1
1    1    0
2    1    1
3    1    0
4    0    1
Selection deleted

五、频率编码（Frequency Encoding）

频率编码根据每个类别的出现频率进行编码。适用于类别较多且频率分布不均的情况。

使用方法：

python 复制代码 
import pandas as pd

# 示例数据
data = {'fruit': ['apple', 'banana', 'orange', 'banana', 'apple']}
df = pd.DataFrame(data)

# 计算频率
frequency_encoded = df['fruit'].value_counts(normalize=True).to_dict()
df['fruit_encoded'] = df['fruit'].map(frequency_encoded)
print(df)

输出：

{'apple': 0.4, 'banana': 0.4, 'orange': 0.2}
0    0.4
1    0.4
2    0.2
3    0.4
4    0.4
Name: fruit_encoded, dtype: float64
    fruit  fruit_encoded
0   apple            0.4
1  banana            0.4
2  orange            0.2
3  banana            0.4
4   apple            0.4

六、目标编码（Target Encoding）

目标编码使用目标变量的平均值来编码类别特征，通常用于分类任务。需要注意避免数据泄漏。

使用方法：

需要安装 category_encoders 库：

python 复制代码 
pip install category_encoders
python 复制代码 
import category_encoders as ce
import pandas as pd

# 示例数据
data = {'fruit': ['apple', 'banana', 'orange', 'banana', 'apple'],
        'target': [1, 0, 1, 0, 1]}
df = pd.DataFrame(data)

# 创建 TargetEncoder 实例
target_encoder = ce.TargetEncoder()

# 拟合并转换数据
df['fruit_encoded'] = target_encoder.fit_transform(df['fruit'], df['target'])
print(df)

输出：

   fruit  target  fruit_encoded
0   apple       1       0.656740
1  banana       0       0.514889
2  orange       1       0.652043
3  banana       0       0.514889
4   apple       1       0.656740

总结

标签编码 适用于有序类别，对于无序类别可能导致误解。

独热编码 适用于无序类别，但会增加维度。

二进制编码 适合类别数量较多的情况，比独热编码更高效。

频率编码 根据类别出现频率进行编码，简单易用。

目标编码 利用目标变量的平均值进行编码，适用于分类问题，但需小心避免数据泄漏。

选择合适的编码方法取决于数据的性质和模型的要求。

相关推荐
akhfuiigabv4 分钟前
探索Timescale Vector与Postgres数据库的融合：AI应用的新选择
数据库·人工智能·python
Pluses14 分钟前
Datawhale X 李宏毅苹果书 AI夏令营 《深度学习详解》第十九章 ChatGPT
人工智能·笔记·深度学习·学习
树莓集团1 小时前
从AI到大数据，数字技术服务平台全栈赋能企业升级
大数据·人工智能·科技·物联网·媒体
Java追光着2 小时前
基于扣子(Coze)打造第一个智能体——个性化对话机器人
人工智能·机器人·扣子
勤劳兔码农2 小时前
基于LSTM的文本摘要生成实战教程
人工智能·rnn·lstm
炸膛坦客2 小时前
深度学习：（四）python中的广播
人工智能·python·深度学习
shuxianshrng3 小时前
鹰眼降尘模型
大数据·服务器·人工智能·经验分享·机器人
金智维科技官方3 小时前
如何选择适合企业的高效财税自动化软件
大数据·人工智能·自动化
FL16238631293 小时前
[数据集][目标检测]高铁受电弓检测数据集VOC+YOLO格式1245张2类别
人工智能·yolo·目标检测
雅菲奥朗3 小时前
FinOps三人行：共话FinOps云成本管理与AI的未来在线分享（文字+视频）
人工智能·aigc·finops·云财务管理·云成本管理
热门推荐
01RAG 实践- Ollama+RagFlow 部署本地知识库02组基轨迹建模 GBTM的介绍与实现（Stata 或 R）032024年高教社杯数学建模国赛C题超详细解题思路分析04CANoe Trace窗口过滤栏消失的几种解决方法（附上最终解决方案）05苍穹外卖面试总结06【2024数模国赛赛题思路公开】国赛B题思路丨附可运行代码丨无偿自提07【立创EDA-PCB设计基础】6.布线铺铜实战及细节详解08Coze扣子平台完整体验和实践（附国内和国际版对比）09【2024高教社杯全国大学生数学建模竞赛】B题 生产过程中的决策问题——解题思路 代码 论文10CCF-CSP认证考试 202406-3 文本分词 100分题解