Machine learing中通过pandas.factorize将object值变成离散值

深入了解 pandas.factorize 函数

pandas.factorize() 是 Pandas 库中一个功能强大且多用途的函数。它被用来将对象编码为枚举类型或分类变量。

功能概览:

这个方法非常有用,尤其是当我们需要获取一个数组的数字表示,并且只关心识别其中不同值的情况。factorize 提供了多种形式的调用方式,可作为顶级函数 pandas.factorize(),以及 Series.factorize()Index.factorize() 方法使用。

参数解析:

  • values(序列) :一个一维序列,表示需要进行因子化的数据。如果序列不是 Pandas 对象,会在因子化之前被转换为 ndarray。
  • sort(布尔型,默认为 False) :对唯一值进行排序并洗牌,以保持关系。
  • use_na_sentinel(布尔型,默认为 True) :若为 True,则使用哨兵值 -1 代表 NaN 值。若为 False,则 NaN 值将被编码为非负整数,并且在值的唯一值中不会删除 NaN。

返回结果:

  • codes(ndarray) :一个整数 ndarray,作为唯一值的索引器。uniques.take(codes) 将具有与原始值相同的值。
  • uniques(ndarray、Index 或 Categorical) :唯一的有效值。当值是 Categorical 时,uniques 是一个 Categorical。当值是其他 Pandas 对象时,返回一个 Index。否则,返回一个一维 ndarray。

注意事项:

即使值中存在缺失值,uniques 也不会包含针对缺失值的条目。

示例和用法:

以下是一些使用 pandas.factorize() 的示例:

php 复制代码
>>> codes, uniques = pd.factorize(np.array(['b', 'b', 'a', 'c', 'b'], dtype="O"))
>>> codes
array([0, 0, 1, 2, 0])
>>> uniques
array(['b', 'a', 'c'], dtype=object)
  • 排序和关系维护:使用 sort=True,uniques 将被排序,并且 codes 将被洗牌以维护关系。

    ini 复制代码
    codes, uniques = pd.factorize(np.array(['b', 'b', 'a', 'c', 'b'], dtype="O"),
    ...                               sort=True)
    >>> codes
    array([1, 1, 0, 2, 1])
    >>> uniques
    array(['a', 'b', 'c'], dtype=object)
  • 处理 NaN 值:当 use_na_sentinel=True 时(默认),缺失值在 codes 中用-1 表示,并且在 uniques 中不包含缺失值。

    php 复制代码
    codes, uniques = pd.factorize(np.array(['b', None, 'a', 'c', 'b'], dtype="O"))
    >>> codes
    array([ 0, -1,  1,  2,  0])
    >>> uniques
    array(['b', 'a', 'c'], dtype=object)

对于不同的 Pandas 对象,因子化的结果类型会有所不同。对于 Categoricals,将返回一个 Categorical;对于其他 Pandas 对象,将返回一个 Index。

css 复制代码
>>> cat = pd.Categorical(['a', 'a', 'c'], categories=['a', 'b', 'c'])
>>> codes, uniques = pd.factorize(cat)
>>> codes
array([0, 0, 1])
>>> uniques
['a', 'c']
Categories (3, object): ['a', 'b', 'c']

pandas.factorize() 是一个高效的工具,能够有效地处理分类数据表示和缺失值的编码。

相关推荐
AI生存日记1 小时前
AI 行业早报:微软发布诊断工具,上海聚焦四大应用场景
人工智能·microsoft·机器学习·open ai大模型
超龄超能程序猿4 小时前
(3)机器学习小白入门 YOLOv: 解锁图片分类新技能
python·numpy·pandas·scipy
FF-Studio5 小时前
大语言模型(LLM)课程学习(Curriculum Learning)、数据课程(data curriculum)指南:从原理到实践
人工智能·python·深度学习·神经网络·机器学习·语言模型·自然语言处理
狗头大军之江苏分军5 小时前
疑似华为盘古AI大模型翻车造假风波【实时记录篇】
人工智能·机器学习·程序员
LucianaiB7 小时前
Chatbox➕知识库➕Mcp = 机器学习私人语音助手
机器学习·知识库·mcp·chatbox
SHIPKING39311 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
巴伦是只猫11 小时前
【机器学习笔记Ⅰ】11 多项式回归
笔记·机器学习·回归
巴伦是只猫16 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手16 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配