5. Pandas 缺失值与异常值处理

Pandas 缺失值与异常值处理

在数据分析中,缺失值与异常值是常见问题。如果不处理,可能导致分析结果偏差或模型性能下降。本篇文章系统介绍 Pandas 中缺失值与异常值的检查与处理方法,包括检测、删除、填充以及简单的异常值处理技巧,为数据清洗和建模提供可靠基础。


1. 检查缺失值

在数据分析中,缺失值(NaN)是常见问题。Pandas 提供 isnullnotnull 方法来检测缺失值。

python 复制代码
import pandas as pd
import numpy as np

data = {
    "姓名": ["张三", "李四", "王五", "赵六"],
    "年龄": [23, np.nan, 29, 40],
    "城市": ["北京", "上海", None, "深圳"]
}

df = pd.DataFrame(data)
print(df)
txt 复制代码
   姓名    年龄   城市
0  张三  23.0   北京
1  李四   NaN   上海
2  王五  29.0  None
3  赵六  40.0   深圳

1.1 判断缺失值

python 复制代码
# 每个元素是否为缺失值
print(df.isnull())
txt 复制代码
      姓名     年龄     城市
0  False  False  False
1  False  False  False
2  False  False  False
3  False  False  False

1.2 统计缺失值

python 复制代码
# 每列缺失值数量
print(df.isnull().sum())
txt 复制代码
姓名    0
年龄    0
城市    0
dtype: int64
python 复制代码
# 非缺失值数量
print(df.notnull().sum())
txt 复制代码
姓名    4
年龄    4
城市    4
dtype: int64

2. 删除缺失值

使用 dropna 可以删除含有缺失值的行或列。

  • axis=0(默认):删除行
  • axis=1:删除列
python 复制代码
# 删除含有缺失值的行
df_drop_row = df.dropna()
print(df_drop_row)
txt 复制代码
   姓名    年龄  城市
0  张三  23.0  北京
3  赵六  40.0  深圳
python 复制代码
# 删除含有缺失值的列
df_drop_col = df.dropna(axis=1)
print(df_drop_col)
txt 复制代码
   姓名
0  张三
1  李四
2  王五
3  赵六

3. 填充缺失值

3.1 使用常数填充

python 复制代码
df_fill = df.fillna({'年龄': 30, '城市': '未知'})
print(df_fill)
txt 复制代码
   姓名    年龄  城市
0  张三  23.0  北京
1  李四  30.0  上海
2  王五  29.0  未知
3  赵六  40.0  深圳

3.2 前向/后向填充

python 复制代码
# 前向填充
df_ffill = df.fillna(method='ffill')
print(df_ffill)
txt 复制代码
   姓名    年龄  城市
0  张三  23.0  北京
1  李四  23.0  上海
2  王五  29.0  上海
3  赵六  40.0  深圳
python 复制代码
# 后向填充
df_bfill = df.fillna(method='bfill')
print(df_bfill)
txt 复制代码
   姓名    年龄  城市
0  张三  23.0  北京
1  李四  29.0  上海
2  王五  29.0  深圳
3  赵六  40.0  深圳

前向填充(ffill)用前一行的值填充,后向填充(bfill)用后一行的值填充,可根据业务场景选择。


4. 简单异常值处理方法

异常值通常指明显偏离数据分布的极端值。常用处理方法包括逻辑筛选、均值/中位数替换以及四分位数法。

4.1 条件筛选

python 复制代码
data = {
    "姓名": ["张三", "李四", "王五", "赵六"],
    "年龄": [23, 120, 29, 40],
    "城市": ["北京", "上海", "重庆", "深圳"]
}

df = pd.DataFrame(data)
print(df)
txt 复制代码
   姓名   年龄  城市
0  张三   23  北京
1  李四  120  上海
2  王五   29  重庆
3  赵六   40  深圳
python 复制代码
# 假设年龄应在 0~100 岁之间
df_clean = df[(df['年龄'] >= 0) & (df['年龄'] <= 100)]
print(df_clean)
txt 复制代码
   姓名  年龄  城市
0  张三  23  北京
2  王五  29  重庆
3  赵六  40  深圳

4.2 均值/中位数替换

python 复制代码
# 将年龄中的异常值(这里以大于100为例)替换为平均值
mean_age = df['年龄'].mean()
df['年龄'] = df['年龄'].apply(lambda x: mean_age if x > 100 else x)
print(df)
txt 复制代码
   姓名    年龄  城市
0  张三  23.0  北京
1  李四  53.0  上海
2  王五  29.0  重庆
3  赵六  40.0  深圳

4.3 四分位数法(IQR)检测

python 复制代码
Q1 = df['年龄'].quantile(0.25)
Q3 = df['年龄'].quantile(0.75)
IQR = Q3 - Q1
outliers = df[(df['年龄'] < Q1 - 1.5*IQR) | (df['年龄'] > Q3 + 1.5*IQR)]

print(f'筛选范围为:x < {Q1 - 1.5*IQR} 或 x > {Q3 + 1.5*IQR}')

print(outliers)
txt 复制代码
筛选范围为:x < 3.875 或 x > 66.875
Empty DataFrame
Columns: [姓名, 年龄, 城市]
Index: []

5. 小结

  1. 缺失值处理
    • isnull() / notnull():检测缺失值
    • dropna():删除缺失值
    • fillna():填充缺失值,可用常数、前向或后向填充
  2. 异常值处理
    • 条件筛选
    • 均值/中位数替换
    • 四分位数法(IQR)

掌握这些方法可以有效提升数据质量,为统计分析、建模与可视化提供坚实基础。

相关推荐
Python×CATIA工业智造43 分钟前
Pycatia二次开发基础代码解析:组件识别、选择反转与链接创建技术解析
python·pycharm
泡沫冰@1 小时前
数据结构(9)
数据结构
小宁爱Python1 小时前
从零搭建 RAG 智能问答系统 6:Text2SQL 与工作流实现数据库查询
数据库·人工智能·python·django
草莓工作室1 小时前
数据结构14:查找
数据结构·算法
m0_748241231 小时前
Java注解与反射实现日志与校验
java·开发语言·python
逐步前行2 小时前
C数据结构--线性表(顺序表|单链表|双向链表)
c语言·数据结构·链表
可触的未来,发芽的智生2 小时前
追根索源:换不同的词嵌入(词向量生成方式不同,但词与词关系接近),会出现什么结果?
javascript·人工智能·python·神经网络·自然语言处理
hu_nil2 小时前
LLMOps-第十一周作业
python·vllm
草莓工作室2 小时前
数据结构13:排序
c语言·数据结构·排序算法
阿Q说代码2 小时前
IPIDEA实现数据采集自动化:高效自动化采集方案
运维·python·自动化·数据采集