pandas数据分析(5)

pandas使用Numpy的np.nan代表缺失数据,显示为NaN。NaN是浮点数标准中地Not-a-Number。对于时间戳,则使用pd.NaT,而文本使用的是None。

首先构造一组数据:

使用None或者np.nan来表示缺失的值:

清理DataFrame时,如果要移除所有包含缺失数据的行:

如果只想移除所有的值都缺失的行,可以使用how参数:

要想获得一个反映对应位置上是否是NaN的布尔DataFrame或Series,可以使用isna方法:

还可以使用fillna来填补缺失的值,例如将score列中的NaN替换为平均值:

和缺失数据一样,重复数据也会对数据分析的可靠性造成负面影响。可以使用drop_duplicates方法清理重复的行。也可以提供列的子集作为参数:

执行drop_duplicates("country", "continent"),如果某些行的country和continent都一样,则保留第一行,删除后续和它一样的行。

is_unique用于确认某一列是否包含重复的数据,unique则可以获得去重后的值。

duplicated方法可以知道哪些行是重复的,它的返回值是一个布尔Series。keep参数默认值是first,意思是会保留第一次出现的数据,只将重复数据标记为True。将keep参数设置为False时,所有重复数据(包含第一次出现的数据)都会被标记为True。

相关推荐
InfiniSynapse6 小时前
InfiniSynapse × CSDN 首届 Vibe Coding 泛数据分析应用开发大赛正式启动报名!
人工智能·数据挖掘·数据分析·创业创新·个人开发·ai编程·程序员创富
ydyd202604218 小时前
固定资产管理软件是什么?从功能到价值全文讲解
信息可视化·数据挖掘·数据分析
库拉大叔9 小时前
GPT-5.6 技术测评:上下文窗口与数学推理性能横向对比
人工智能·gpt·数据分析
得闲喝茶11 小时前
跨表数据匹配——VLOOKUP、XLOOKUP
大数据·数据库·笔记·信息可视化·数据分析·excel
想会飞的蒲公英15 小时前
回归模型怎样评估:MAE、MSE、RMSE 和 R²
人工智能·python·机器学习·数据分析·回归
YangYang9YangYan16 小时前
工业工程学数据分析在2026年的应用价值
数据挖掘·数据分析
ShallWeL16 小时前
【机器学习】(16)—— 数值数据
人工智能·python·算法·机器学习·数据分析
极度的坦诚就是无坚不摧17 小时前
数据分析DAY1-Python基础
python·数据分析
SelectDB技术团队17 小时前
AB 实验指标计算场景:Apache Doris / SelectDB 的技术能力、选型对比与实践
大数据·数据库·数据分析·apache·用户运营·apache doris·selectdb
Aloudata18 小时前
智能归因 vs 传统报表钻取:驱动用户复杂归因分析的差异
大数据·人工智能·数据分析·agent·语义编织