Machine leading 中Missing Values可视化--missingo

快速可视化数据集中缺失值的好工具是专门的库-missuno。我们将在下面演示它。

1安装

py 复制代码
pip install missingno

2查看缺失值

py 复制代码
for col in train_events.columns:
    percent_nan = train_events[col].isnull().mean() * 100
    msg = f"column: {col:>10}\t Percent of NaN value: {percent_nan:.2f}%"
    print(f"\n---> {msg}")
    ```


---> column:  series_id	 Percent of NaN value: 0.00%

---> column:      night	 Percent of NaN value: 0.00%

---> column:      event	 Percent of NaN value: 0.00%

---> column:       step	 Percent of NaN value: 33.93%

---> column:  timestamp	 Percent of NaN value: 33.93%

---> column:       year	 Percent of NaN value: 33.93%

---> column:      month	 Percent of NaN value: 33.93%

---> column:        day	 Percent of NaN value: 33.93%

---> column:       hour	 Percent of NaN value: 33.93%
ini 复制代码
# 3使用方法
1. bar方法
```py
import missingno as msno
msno.bar(train, color=(0.4,0.4,0.6))
  1. matrix()
py 复制代码
msno.matrix(train_events, color=(0.3,0.3,0.5))

根据图表中白线的数量,我们可以推断数据集中的缺失值情况。观察到白线越多,说明数据集中的缺失值越多。图表左侧的纵坐标显示了样本数量的起始和结束值,即数据集包含了14508条数据。右下角的数字3表示数据集中有3列没有缺失值,而右侧的数字9表示数据集总共有9列数据。

  1. heatmap()
  • 缺失变量的相关关系
  • 相关热missingno图衡量无效相关性:一个变量的存在或不存在对另一个变量的存在的影响程度:
py 复制代码
msno.heatmap(train_events)
  1. dendrogram():
py 复制代码
msno.train_events(train_events)

树状图通过一种分层聚类算法(由Scipy提供)可以更全面地揭示变量之间的关联关系,进一步展示出比相关热图中可见的成对趋势更深入的趋势。

在树状图的构建过程中,变量根据它们之间的无效相关性(以二进制距离衡量)被彼此分类。在每一步的分割中,选择能够最小化剩余簇之间距离的组合方式。当变量集合越单调时,它们的总距离越接近于零,同时它们的平均距离(y轴)也越接近于零。

官方文档

相关推荐
linweidong4 小时前
RTX 4090 Ubuntu + ComfyUI + comfy-kitchen 0.2.41 完整部署文档
机器学习·云原生·conda·pandas·scikit-learn
咕泡科技5 小时前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
龙腾AI白云5 小时前
具身智能模仿学习与人类示教:从观察中习得动作
数据库·机器学习·知识图谱·pygame
电科_银尘5 小时前
【大模型算法与工程 01】机器学习的问题定义:监督、无监督、自监督与强化学习
人工智能·算法·机器学习
IndustrialSphere16 小时前
工业历史趋势图为什么会误导人?用三条数据检查倒序、缺测和截断
api·数据可视化·工业软件·industrialsphere·历史数据
罗西的思考18 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考18 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
benchmark_cc19 小时前
个人开发者接入五档盘口:用 QuantDash 读取单只股票的验收清单与易错点
python·数据分析·pandas·量化交易·股票数据·quantdash
武子康19 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
XLYcmy21 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测