Pandas 数据处理入门

K8sCat2023-12-01 14:03

原文链接：mp.weixin.qq.com/s/WtF56bmzy...

Python的Pandas库是数据科学家和分析师的神器。在本文中，我们将详细探讨如何利用Pandas进行有效的数据处理，包括数据结构的理解、数据的导入、探索和基本处理。

认识Pandas

简要介绍Pandas的重要性
安装和导入Pandas库

python 复制代码

import pandas as pd

Pandas数据结构

介绍Series和DataFrame
创建Series和DataFrame的例子

python 复制代码

# Series
s = pd.Series([1, 3, 5, None, 6, 8])

# DataFrame
df = pd.DataFrame({'A': range(1, 5),
                   'B': pd.Timestamp('20230901'),
                   'C': pd.Series(1, index=list(range(4)), dtype='float32'),
                   'D': pd.Categorical(["test", "train", "test", "train"]),
                   'E': 'foo'})

第三部分：数据导入

如何读取CSV和Excel文件
示例代码展示数据的导入过程

python 复制代码

# 读取CSV
df_csv = pd.read_csv('example.csv')

# 读取Excel
df_excel = pd.read_excel('example.xlsx')

数据探索

查看数据的基本信息（如：shape, head, tail, describe等）
选择、过滤和排序数据的方法

python 复制代码

# 查看前几行
df.head()

# 描述性统计
df.describe()

# 列选择和过滤
df_filtered = df[df['A'] > 2]

# 排序
df_sorted = df.sort_values(by='B')

数据清洗

处理缺失数据
修改列名
数据类型转换

python 复制代码

# 处理缺失数据
df.fillna(value=5)

# 修改列名
df.rename(columns={'A': 'a'}, inplace=True)

# 数据类型转换
df['D'] = df['D'].astype('int32')

数据操作

列的增加和删除
数据行的增加和删除

python 复制代码

# 列的增加
df['F'] = df['A'] + df['D']

# 列的删除
df.drop('F', axis=1, inplace=True)

# 行的增加
df.append({'A': 5, 'B': pd.Timestamp('20231001'), 'C': 2.0, 'D': 3, 'E': 'bar'}, ignore_index=True)

# 行的删除
df.drop([0, 1], inplace=True)

结论

Pandas是一个功能强大的数据处理工具，掌握其基础操作对于进行高效的数据分析至关重要。通过本文的介绍，您应该能够开始使用Pandas来处理您的数据。