离散化及其在 Pandas 中的实现方法

目录

1.什么是离散化?

2.离散化类型

3.示例代码

3.1连续变量离散化

3.2定性变量离散化

4.运行结果

4.1连续变量离散化

4.2定性变量离散化


1.什么是离散化?

离散化是将连续数据或分类数据转换为离散类别的过程,方便后续的数据分析和机器学习建模。

2.离散化类型

  1. 连续变量离散化:
    • 定义:将连续的数值数据(例如年龄、收入、温度等)转换为离散的区间或类别。
    • 方法:使用区间划分,将连续的数据分割成几个区间,并赋予每个区间一个标签或编码。
    • 示例:将年龄数据分为"年轻"(18-29岁)、"中年"(30-40岁)、"老年"(41-50岁)。
  2. 定性变量离散化(分类编码):
    • 定义:将定性(分类)变量(例如性别、颜色、品牌等)转换为数值型或二进制型变量。
    • 方法:将每个类别转换为一个唯一的数值标签(数值编码)或多个二进制变量(独热编码)。
    • 示例 :将水果名称转换为数值编码(apple = 0, banana = 1, cherry = 2)或独热编码(apple = [1, 0, 0], banana = [0, 1, 0], cherry = [0, 0, 1])。

3.示例代码

3.1连续变量离散化

等宽分箱 (Equal-width binning)是一种将连续变量离散化的方法。它将数据范围分成宽度相等的区间 (也称为"")。每个区间包含的数据点数量可能不同,但每个区间的宽度是相同的。

将年龄数据划分为几个年龄段:

python 复制代码
import pandas as pd

# 创建 DataFrame
data = {'age': [22, 25, 47, 35, 46, 50, 18, 21, 30, 19]}
df = pd.DataFrame(data)
print("原始数据:")
print(df)

# 等宽分箱
df['age_bins'] = pd.cut(df['age'], bins=3, labels=["Young", "Middle-aged", "Old"])
print("\n离散化结果(等宽分箱):")
print(df)
"""
    pd.cut:Pandas 的 cut 函数用于将连续变量(数值数据)分割成离散的区间。这个函数可以创建等宽区间或自定义区间。
    df['age']:选择 DataFrame 中的 age 列作为需要离散化的数据。
    bins=3:将 age 列的数据分成三个等宽的区间。
    labels=["Young", "Middle-aged", "Old"]:为每个区间分配标签。三个区间将分别被标记为"Young"(年轻),"Middle-aged"(中年)和"Old"(老年)。
"""

3.2定性变量离散化

独热编码 (One-Hot Encoding)是一种将分类变量(定性变量)转换为二进制向量的编码方法。每个分类变量的值将被转换为一个二进制向量,该向量在某个位置上为1,其余位置为0。这样可以避免分类变量在数值运算中引入大小关系。

定性变量(qualitative variable)又名分类变量,是统计学中的概念。当观测的个体只能归属于几种互不相容的类别中的一种时,一般用非数字来表达其类别,这样的观测数据称为定性变量

将水果名称转换为数值编码和独热编码:

python 复制代码
import pandas as pd

# 创建 DataFrame
data = {'fruit': ['apple', 'banana', 'cherry', 'date', 'apple', 'banana', 'cherry']}
df = pd.DataFrame(data)
print("原始数据:")
print(df)

# 数值编码
df['fruit_code'] = df['fruit'].astype('category').cat.codes
print("\n数值编码结果:")
print(df)
"""
    在这里,fruit_code 列中的数据代表 fruit 列中水果名称的数值编码。具体解释如下:
    apple 被编码为 0
    banana 被编码为 1
    cherry 被编码为 2
    date 被编码为 3
    
    df['fruit']:选择 DataFrame 中的 fruit 列。
    astype('category'):将 fruit 列的数据类型转换为 Pandas 的分类数据类型(category)。分类数据类型是 Pandas 用于处理有限的离散值的一种类型,通常用于表示字符串分类变量。
    cat.codes:获取分类数据的编码。每个唯一的分类值(例如 'apple', 'banana', 'cherry' 等)都会被映射为一个唯一的整数代码。这些整数代码存储在 cat.codes 属性中。
"""

# 独热编码
df_dummies = pd.get_dummies(df['fruit'], prefix='fruit')
print("\n独热编码结果:")
print(df_dummies)
"""
    pd.get_dummies:Pandas 的 get_dummies 函数用于执行独热编码(One-Hot Encoding)。独热编码是将分类变量转换为多个二进制(0 或 1)变量的过程。
    df['fruit']:选择 DataFrame 中的 fruit 列。
    prefix='fruit':为生成的虚拟变量添加前缀。在生成的虚拟变量的列名中会添加这个前缀,以便识别这些列属于哪个原始变量。
"""

# 合并结果
df = pd.concat([df, df_dummies], axis=1)
print("\n合并后的结果:")
print(df)
"""
    pd.concat:Pandas 的 concat 函数用于连接两个或多个 DataFrame。
    [df, df_dummies]:将原始 DataFrame df 和独热编码后的 DataFrame df_dummies 作为列表传递给 concat 函数。这里我们将这两个 DataFrame 水平地连接在一起(即按列连接)。
    axis=1:指定连接操作沿着列轴(轴=1)进行。这意味着新 DataFrame 的列数会增加,而行数保持不变。
"""

4.运行结果

4.1连续变量离散化

python 复制代码
原始数据:
   age
0   22
1   25
2   47
3   35
4   46
5   50
6   18
7   21
8   30
9   19

离散化结果(等宽分箱):
   age      age_bins
0   22         Young
1   25         Young
2   47           Old
3   35  Middle-aged
4   46           Old
5   50           Old
6   18         Young
7   21         Young
8   30  Middle-aged
9   19         Young

4.2定性变量离散化

python 复制代码
原始数据:
     fruit
0    apple
1   banana
2   cherry
3     date
4    apple
5   banana
6   cherry

数值编码结果:
     fruit  fruit_code
0    apple           0
1   banana           1
2   cherry           2
3     date           3
4    apple           0
5   banana           1
6   cherry           2

独热编码结果:
   fruit_apple  fruit_banana  fruit_cherry  fruit_date
0            1             0             0           0
1            0             1             0           0
2            0             0             1           0
3            0             0             0           1
4            1             0             0           0
5            0             1             0           0
6            0             0             1           0

合并后的结果:
     fruit  fruit_code  fruit_apple  fruit_banana  fruit_cherry  fruit_date
0    apple           0            1             0             0           0
1   banana           1            0             1             0           0
2   cherry           2            0             0             1           0
3     date           3            0             0             0           1
4    apple           0            1             0             0           0
5   banana           1            0             1             0           0
6   cherry           2            0             0             1           0
相关推荐
CSDN云计算2 分钟前
如何以开源加速AI企业落地,红帽带来新解法
人工智能·开源·openshift·红帽·instructlab
艾派森12 分钟前
大数据分析案例-基于随机森林算法的智能手机价格预测模型
人工智能·python·随机森林·机器学习·数据挖掘
hairenjing112314 分钟前
在 Android 手机上从SD 卡恢复数据的 6 个有效应用程序
android·人工智能·windows·macos·智能手机
小蜗子19 分钟前
Multi‐modal knowledge graph inference via media convergenceand logic rule
人工智能·知识图谱
SpikeKing31 分钟前
LLM - 使用 LLaMA-Factory 微调大模型 环境配置与训练推理 教程 (1)
人工智能·llm·大语言模型·llama·环境配置·llamafactory·训练框架
黄焖鸡能干四碗1 小时前
信息化运维方案,实施方案,开发方案,信息中心安全运维资料(软件资料word)
大数据·人工智能·软件需求·设计规范·规格说明书
1 小时前
开源竞争-数据驱动成长-11/05-大专生的思考
人工智能·笔记·学习·算法·机器学习
ctrey_1 小时前
2024-11-4 学习人工智能的Day21 openCV(3)
人工智能·opencv·学习
攻城狮_Dream1 小时前
“探索未来医疗:生成式人工智能在医疗领域的革命性应用“
人工智能·设计·医疗·毕业
学习前端的小z2 小时前
【AIGC】如何通过ChatGPT轻松制作个性化GPTs应用
人工智能·chatgpt·aigc