【玩转pandas系列】巧妙处理某瓣电影top250空数据

向阳花花花花 - 个人主页

迄今所有人生都大写着失败,但并不妨碍我继续向前

Python 数据分析专栏正在火热更新中 🔥


文章目录

前言

大家好!我是向阳花,是一位正在努力成长的数据小白。

本期给大家带来的是,使用 pandas 处理某瓣电影top250数据中的空数据。

知识点对应一个小案例,洗碗这种 学习+案例实践 的学习模式会对你有帮助。

一、处理某瓣电影top250空数据

  • 1.环境准备

首先导入必要的模块:

python 复制代码
import numpy as np
import pandas as pd

加载数据:(数据获取链接:「movie_top_250.xlsx」

python 复制代码
df = pd.read_excel('../datas/pandas练习/movie_top_250.xlsx')
  • 2.观察数据

确定数据行列:

python 复制代码
df.shape

从以上让我们知道,数据总共有 262条,11列

  • 3.空值行列查找

接下来我们使用 count() 函数,确定哪些列有空值:

python 复制代码
df.count()

从以上我们可以看出,有五列,评分、评价人数、国家/地区、语言、时长(分钟)这些列有空值。

也可以使用 isnull() 进一步验证,找出含有空值的列:

python 复制代码
df.isnull().any()

和使用 count() 得到的结果含义是一致的。

  • 4.查看含有空值的行

发现了存在空值,我们先不着急使用 dropna() 方法删除含有空值的行,我们先看看含有空值的行具体是哪些。

python 复制代码
data = df.isnull().any(axis=1)
data

有空值的行即为True,下面打印含有空值的行(行数过多只显示前5行):

python 复制代码
df.loc[data].head()

这样,含有 NaN 的数据行就被我们找出来了。

下面我们统计,有多少行含有空值的行。

python 复制代码
print(df.loc[data].shape)

也就是说,有24行有空值的行,一开始我们有262条数据,那么使用 dropna() 删除行后,应该剩下:262 - 24 = 238 条数据。

  • 5.删除含有空值的行
python 复制代码
df.dropna(inplace=True)

再次查看数据行列:

python 复制代码
df.shape

与预期相符。

二、对于空值,有没有别的处理办法?

答案肯定是有的。

有时候只是缺失了一行中的某一个,我们希望保留这行数据,使用填充的方式补充空值

  • 1.整体填充(单值填充)

使用 # 号填充所有 NaN

python 复制代码
df.fillna(value='#')
  • 2.向上向下填充

向上填充:

python 复制代码
df.fillna(method='ffill',axis=0)

向下填充:

python 复制代码
df.fillna(method='bfill',axis=0)
  • 3.整体均值填充
python 复制代码
df.fillna(df.mean())
  • 4.上下列均值填充
python 复制代码
df.fillna(df.interpolate())

三、上述案例总结

3.1 查看数据信息

  • 1.查看数据行列
python 复制代码
df.shape
  • 2.查看数据信息
python 复制代码
df.info()
  • 3.查看数据更多详细信息,包含条数,平均数,方差,最小、最大值等
python 复制代码
df.describe()

3.2 判断数据是否有空值

  • 1.count() 方法与 shape 结果对比
python 复制代码
df.count()
  • 2.使用 isnull() 方法
python 复制代码
df.isnull().any()
  • 3.使用 notnull() 方法
python 复制代码
df.notnull().all()

3.3 查看含空行、删除含空行

  • 1.找出含有空值的行
python 复制代码
data = df.isnull().any(axis=1)
df.loc[data].head()

高亮显示 NaN:

python 复制代码
df.loc[data].style.highlight_null(null_color='skyblue')
  • 2.删除含空行
python 复制代码
df.dropna(inplace=True)

结语

🔥 如果文中有些地方不清楚的话,欢迎联系我,我会给大家提供思路及解答。🔥

相关推荐
Blossom.11824 分钟前
用一张“冰裂纹”石墨烯薄膜,让被动散热也能做 AI 推理——基于亚波长裂纹等离激元的零功耗温度-逻辑门
人工智能·深度学习·神经网络·目标检测·机器学习·机器人·语音识别
计算生物前沿2 小时前
单细胞分析教程 | (二)标准化、特征选择、降为、聚类及可视化
人工智能·机器学习·聚类
超龄超能程序猿2 小时前
(5)机器学习小白入门 YOLOv:数据需求与图像不足应对策略
人工智能·python·机器学习·numpy·pandas·scipy
cwn_3 小时前
回归(多项式回归)
人工智能·机器学习·数据挖掘·回归
优乐美香芋味好喝4 小时前
2025年7月11日学习笔记&一周归纳——模式识别与机器学习
笔记·学习·机器学习
众链网络4 小时前
AI进化论08:机器学习的崛起——数据和算法的“二人转”,AI“闷声发大财”
人工智能·算法·机器学习
生命是有光的4 小时前
【机器学习】机器学习基础
人工智能·机器学习
平和男人杨争争4 小时前
机器学习13——支持向量机下
人工智能·机器学习·支持向量机
胖达不服输4 小时前
「日拱一码」025 机器学习——评价指标
人工智能·python·机器学习·评价指标
默辨4 小时前
机器学习(ML)、深度学习(DL)、强化学习(RL)关系和区别
人工智能·深度学习·机器学习