Pandas数据清洗_Python数据分析与可视化

Pandas数据清洗

在处理数据的时候,需要对数据进行一个清洗过程。清洗操作包括:空白行的删除、数据完整性检验、数据填充、插值等内容。

下面是数据清洗过程中使用的具体方法

删除缺失值

DataFrame.dropna 方法用于删除含有缺失值的行或列,关键参数:axishow

axis

表示轴向,0 为行,1 为列,默认 0。

how

表示删除形式,how = 'any' 表示只要有缺失值就删除;how='all' 表示全为缺失值才删除。

检测缺失值

DataFrame.isnull() 识别缺失值,返回包含TrueFalse的 DataFrame。
DataFrame.notnull() 方法识别非缺失值,返回包含TrueFalse的 DataFrame。

上述两方法结合sum函数可用于检测数据序列中缺失值的分布情况。

填充缺失值

DataFrame.fillna 方法能用指定值替换缺失值。关键参数:valuemethodaxis

value

表示指定的填充值。

method
method = 'bfill'后向填充,用后面的非缺失值填充;
method = 'ffill'前向填充,用前面的非缺失值填充。

axis

表示操作轴向,默认1(列)。

拉格朗日插值

csharp 复制代码
from scipy.interpolate import lagrange
formula = lagrange(x,y)#formula是通过lagrange方法生成的公式,x和y为数据序列
ins_y = formula(ins_x)#ins_x为缺失值所在位置,ins_y为插值结果。

线性插值

csharp 复制代码
from scipy.interpolate import interp1d#1是数字一
formula = interp1d(x,y,kind = 'linear')#formula是通过linear方法生成的公式,x和y为数据序列
ins_y = formula(ins_x)#ins_x为缺失值所在位置,ins_y为插值结果。
相关推荐
wang_yb6 分钟前
异常值检测与处理方法总结
数据分析·databook
SelectDB7 分钟前
Doris 还是 ClickHouse?一张表说清 6 个关键差异(实战笔记)
大数据·数据库·数据分析
2601_9623004715 分钟前
基于Python与Tkinter的ADB Monkey自动化测试脚本开发
python·adb·tkinter·android测试·gui自动化
SamChan9024 分钟前
PDF翻译后的格式完整性校验:用Python自动比对译文与原文档的表格与段落结构
开发语言·python·ai·pdf·机器翻译
2601_9620779826 分钟前
Python是一门什么样的语言?
python·编程语言·解释器·编译型·解释型
用户0190275816127 分钟前
不用 SDK 也能取 A 股数据:AlphaFeed REST API 用 cURL/HTTP 直连教程
python
旋生万物1 小时前
素数都排在等角螺线上?用螺旋数论给黎曼猜想画一张“几何画像“(附Python)
python·ai编程·数论·黎曼猜想·素数分布
用户3721574261351 小时前
使用 Python 压缩 PDF 文件:减小图片、字体和文档内容体积
python
java1234_小锋1 小时前
Tornado 6.5,全面支持 Python 3.14
数据库·python·tornado
IT毕设梦工厂1 小时前
计算机毕业设计选题推荐:基于大数据的印度上市公司财务指标数据可视化分析|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hadoop·python·信息可视化·spark·课程设计·大数据毕设项目