【玩转pandas系列】巧妙处理某瓣电影top250空数据

向阳花花花花 - 个人主页

迄今所有人生都大写着失败,但并不妨碍我继续向前

Python 数据分析专栏正在火热更新中 🔥


文章目录

前言

大家好!我是向阳花,是一位正在努力成长的数据小白。

本期给大家带来的是,使用 pandas 处理某瓣电影top250数据中的空数据。

知识点对应一个小案例,洗碗这种 学习+案例实践 的学习模式会对你有帮助。

一、处理某瓣电影top250空数据

  • 1.环境准备

首先导入必要的模块:

python 复制代码
import numpy as np
import pandas as pd

加载数据:(数据获取链接:「movie_top_250.xlsx」

python 复制代码
df = pd.read_excel('../datas/pandas练习/movie_top_250.xlsx')
  • 2.观察数据

确定数据行列:

python 复制代码
df.shape

从以上让我们知道,数据总共有 262条,11列

  • 3.空值行列查找

接下来我们使用 count() 函数,确定哪些列有空值:

python 复制代码
df.count()

从以上我们可以看出,有五列,评分、评价人数、国家/地区、语言、时长(分钟)这些列有空值。

也可以使用 isnull() 进一步验证,找出含有空值的列:

python 复制代码
df.isnull().any()

和使用 count() 得到的结果含义是一致的。

  • 4.查看含有空值的行

发现了存在空值,我们先不着急使用 dropna() 方法删除含有空值的行,我们先看看含有空值的行具体是哪些。

python 复制代码
data = df.isnull().any(axis=1)
data

有空值的行即为True,下面打印含有空值的行(行数过多只显示前5行):

python 复制代码
df.loc[data].head()

这样,含有 NaN 的数据行就被我们找出来了。

下面我们统计,有多少行含有空值的行。

python 复制代码
print(df.loc[data].shape)

也就是说,有24行有空值的行,一开始我们有262条数据,那么使用 dropna() 删除行后,应该剩下:262 - 24 = 238 条数据。

  • 5.删除含有空值的行
python 复制代码
df.dropna(inplace=True)

再次查看数据行列:

python 复制代码
df.shape

与预期相符。

二、对于空值,有没有别的处理办法?

答案肯定是有的。

有时候只是缺失了一行中的某一个,我们希望保留这行数据,使用填充的方式补充空值

  • 1.整体填充(单值填充)

使用 # 号填充所有 NaN

python 复制代码
df.fillna(value='#')
  • 2.向上向下填充

向上填充:

python 复制代码
df.fillna(method='ffill',axis=0)

向下填充:

python 复制代码
df.fillna(method='bfill',axis=0)
  • 3.整体均值填充
python 复制代码
df.fillna(df.mean())
  • 4.上下列均值填充
python 复制代码
df.fillna(df.interpolate())

三、上述案例总结

3.1 查看数据信息

  • 1.查看数据行列
python 复制代码
df.shape
  • 2.查看数据信息
python 复制代码
df.info()
  • 3.查看数据更多详细信息,包含条数,平均数,方差,最小、最大值等
python 复制代码
df.describe()

3.2 判断数据是否有空值

  • 1.count() 方法与 shape 结果对比
python 复制代码
df.count()
  • 2.使用 isnull() 方法
python 复制代码
df.isnull().any()
  • 3.使用 notnull() 方法
python 复制代码
df.notnull().all()

3.3 查看含空行、删除含空行

  • 1.找出含有空值的行
python 复制代码
data = df.isnull().any(axis=1)
df.loc[data].head()

高亮显示 NaN:

python 复制代码
df.loc[data].style.highlight_null(null_color='skyblue')
  • 2.删除含空行
python 复制代码
df.dropna(inplace=True)

结语

🔥 如果文中有些地方不清楚的话,欢迎联系我,我会给大家提供思路及解答。🔥

相关推荐
Calihen的学习日志1 小时前
【Pandas】3.1-数据预处理:列的基本操作
python·pandas
打螺丝否1 小时前
稠密矩阵和稀疏矩阵的对比
python·机器学习·矩阵
初级炼丹师(爱说实话版)1 小时前
2025算法八股——机器学习——SVM损失函数
算法·机器学习·支持向量机
非门由也1 小时前
《sklearn机器学习——聚类性能指标》Fowlkes-Mallows 得分
机器学习·聚类·sklearn
数据科学作家5 小时前
学数据分析必囤!数据分析必看!清华社9本书覆盖Stata/SPSS/Python全阶段学习路径
人工智能·python·机器学习·数据分析·统计·stata·spss
java1234_小锋7 小时前
Scikit-learn Python机器学习 - 特征预处理 - 标准化 (Standardization):StandardScaler
python·机器学习·scikit-learn
xz2024102****10 小时前
吴恩达机器学习合集
人工智能·机器学习
anneCoder11 小时前
AI大模型应用研发工程师面试知识准备目录
人工智能·深度学习·机器学习
空白到白11 小时前
机器学习-决策树
人工智能·决策树·机器学习
纪东东11 小时前
机器学习——使用K近邻算法实现一个识别手写数字系统
人工智能·机器学习·近邻算法