29 Python的pandas模块

hope_wisdom2023-10-18 8:14

概述

在上一节，我们介绍了Python的numpy模块，包括：多维数组、数组索引、数组操作、数学函数、线性代数、随机数生成等内容。在这一节，我们将介绍Python的pandas模块。pandas模块是Python编程语言中用于数据处理和分析的强大模块，它提供了许多用于数据操作和清洗的函数，使得数据处理和分析变得更为简单和直观。

在Python中使用pandas模块，需要先安装pandas库。可以通过pip命令进行安装：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas。安装完成后，就可以在Python脚本中导入pandas模块，并使用其函数和方法了。

Series

Series是一个一维数组，它不仅包含数据，还包含索引。Series可以被看作是一个字典，其中的索引是键，值是数据。每个索引只有一个对应的值，因此Series可以被看作是具有标签化的数值数据。

python 复制代码 
import pandas as pd

# 创建一个Series
s = pd.Series([1, 2, 3, 4, 5])
# 输出：
# 0    1
# 1    2
# 2    3
# 3    4
# 4    5
# dtype: int64
print(s)

上面的示例代码创建了一个包含五个整数的Series，默认情况下，它的索引是从0开始的整数。

当然，我们也可以提供一个列表作为Series的索引和值。

python 复制代码 
import pandas as pd

# 创建一个带有自定义索引和值的Series
index = ['C', 'S', 'D', 'N', 'P']
s = pd.Series([1, 2, 3, 4, 5], index = index)
# 输出：
# C    1
# S    2
# D    3
# N    4
# P    5
# dtype: int64
print(s)

我们还可以直接使用字典创建带有自定义数据标签的数据，pandas会自动把字典的键作为数据标签，字典的值作为相对应的数据。

python 复制代码 
import pandas as pd

# 创建一个带有自定义索引和值的Series
s = pd.Series({'C': 1, 'S': 2, 'D': 3, 'N': 4, 'P': 5})
# 输出：
# C    1
# S    2
# D    3
# N    4
# P    5
# dtype: int64
print(s)

如果想访问Series里的数据，也非常简单，直接使用中括号加数据标签的方式即可。

python 复制代码 
import pandas as pd

s = pd.Series([1, 2, 3, 4, 5])
# 访问第二个元素，输出：3
print(s[2])

s = pd.Series({'C': 1, 'S': 2, 'D': 3, 'N': 4, 'P': 5})
# 访问Key值为'D'的元素，输出：3
print(s['D'])

使用Series，结合pandas强大的数据对齐功能，可以让我们快速对数据进行分析和处理。

python 复制代码 
import pandas as pd

s1 = pd.Series({'Red': 1, 'Blue': 2, 'Green': 3})
s2 = pd.Series({'Red': 100, 'Blue': 200, 'Green': 300})
s = s1 + s2
# 将两个Series进行相加，输出：
# Red      101
# Blue     202
# Green    303
# dtype: int64
print(s)

s1 = pd.Series({'Red': 1, 'Blue': 2, 'Green': 3, 'White': 4})
s2 = pd.Series({'Red': 100, 'Blue': 200, 'Green': 300})
s = s1 + s2
# 数据标签不相同的数据，运算后结果是NaN，输出：
# Blue     202.0
# Green    303.0
# Red      101.0
# White      NaN
# dtype: float64
print(s)

# 数据标签不相同的数据，调用add函数，可以设置默认填充值，输出：
# Blue     202.0
# Green    303.0
# Red      101.0
# White      4.0
# dtype: float64
s = s1.add(s2, fill_value = 0)
print(s)

DataFrame

DataFrame是一个二维的表格型数据结构，类似于Excel或数据库中的表。DataFrame中的数据可以是不同的数据类型，比如：整数、浮点数、字符串、布尔值等。

python 复制代码 
import pandas as pd

# 创建DataFrame
data = {'Name': ['Jack', 'Tank', 'John'], 'Age': [20, 21, 19]}
df = pd.DataFrame(data)
# 输出：
#    Name  Age
# 0  Jack   20
# 1  Tank   21
# 2  John   19
print(df)

使用DataFrame，我们可以很方便地对表中的行、列进行增删改查等操作。使用df['column_name']可以查看指定列的数据；使用df.iloc[row_number]可以查看指定行的数据；使用df.loc[row_label]可以基于标签访问指定行的数据；使用df[condition]可以筛选出满足条件的数据：使用df['new_column'] = values可以添加一个新列；使用del df['column_name']可以删除一列。

python 复制代码 
import pandas as pd

# 创建DataFrame
data = {'Name': ['Jack', 'Tank', 'John'], 'Age': [20, 21, 19]}
df = pd.DataFrame(data)
# 输出：
#    Name  Age
# 0  Jack   20
# 1  Tank   21
# 2  John   19
print(df)

df = pd.DataFrame(data, index = ['First', 'Second', 'Third'])
# 指定自定义索引，输出：
#         Name  Age
# First   Jack   20
# Second  Tank   21
# Third   John   19
print(df)

# 访问列数据，输出：
# First     Jack
# Second    Tank
# Third     John
# Name: Name, dtype: object
print(df['Name'])
# 根据行索引访问行数据，输出：
# Name    John
# Age       19
# Name: Third, dtype: object
print(df.iloc[2])
# 根据行标签访问行数据，输出：
# Name    John
# Age       19
# Name: Third, dtype: object
print(df.loc['Third'])

df['Age'] = [22, 18, 20]
# 修改列数据，输出：
#         Name  Age
# First   Jack   22
# Second  Tank   18
# Third   John   20
print(df)

df['Gender'] = ['M', 'F', 'F']
# 新增列数据，输出：
#         Name  Age Gender
# First   Jack   22      M
# Second  Tank   18      F
# Third   John   20      F
print(df)

del df['Gender']
# 删除列数据，输出：
#         Name  Age
# First   Jack   22
# Second  Tank   18
# Third   John   20
print(df)

# 筛选出年龄大于20的数据，输出：
#        Name  Age
# First  Jack   22
print(df[df['Age'] > 20])

数据读取和写入

使用pandas，可以方便地读取和写入各种数据格式，比如：CSV、Excel、SQL数据库等。我们以CSV文件的读写为例，来理解CSV表格数据的读取和写入。

python 复制代码 
import pandas as pd

# 创建DataFrame
data = {'Name': ['Jack', 'Tank', 'John'], 'Age': [20, 21, 19]}
df = pd.DataFrame(data)

# 将DataFrame写入CSV文件
df.to_csv('output.csv', index = False)

在上面的示例代码中，我们首先创建了一个名为df的DataFrame，然后使用to_csv函数将其写入一个名为output.csv的CSV文件中。我们将index参数设置为False，以避免将DataFrame的索引写入CSV文件。

to_csv函数还有其他一些可选参数，包括：

sep：用于指定CSV文件中的分隔符，默认是逗号。

header：用于指定是否将DataFrame的列名写入CSV文件中，默认为True。

encoding：用于指定文件的编码格式，默认为UTF-8。

compression：用于指定文件的压缩格式，默认为None。

在下面的示例代码中，我们读取了上面保存的名为output.csv的CSV文件，并将其转化为一个pandas DataFrame。

python 复制代码 
import pandas as pd

# 从CSV文件读取 
df = pd.read_csv('output.csv')
# 输出：
#    Name  Age
# 0  Jack   20
# 1  Tank   21
# 2  John   19
print(df)

read_csv函数还有其他一些可选参数，包括：

sep：指定分隔符，默认为逗号。

header：指定行号作为列名，默认为0。

index_col：将一列或多列设为DataFrame的索引。

usecols：返回的列的子集，可以是一个列表或函数。

dtype：为每一列设置数据类型。

skiprows：跳过指定的行数或行号。

na_values：用于识别空值的字符串或字符串列表。

keep_default_na：是否保留默认的识别空值的字符串。

相关推荐
傻啦嘿哟33 分钟前
如何使用 Python 开发一个简单的文本数据转换为 Excel 工具
开发语言·python·excel
B站计算机毕业设计超人39 分钟前
计算机毕业设计SparkStreaming+Kafka旅游推荐系统 旅游景点客流量预测 旅游可视化 旅游大数据 Hive数据仓库 机器学习 深度学习
大数据·数据仓库·hadoop·python·kafka·课程设计·数据可视化
IT古董1 小时前
【人工智能】Python在机器学习与人工智能中的应用
开发语言·人工智能·python·机器学习
湫ccc1 小时前
《Python基础》之pip换国内镜像源
开发语言·python·pip
hakesashou1 小时前
Python中常用的函数介绍
java·网络·python
菜鸟的人工智能之路2 小时前
极坐标气泡图：医学数据分析的可视化新视角
python·数据分析·健康医疗
菜鸟学Python2 小时前
Python 数据分析核心库大全！
开发语言·python·数据挖掘·数据分析
小白不太白9502 小时前
设计模式之 责任链模式
python·设计模式·责任链模式
喜欢猪猪2 小时前
Django：从入门到精通
后端·python·django
糖豆豆今天也要努力鸭2 小时前
torch.__version__的torch版本和conda list的torch版本不一致
linux·pytorch·python·深度学习·conda·torch
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07【目标跟踪】相机运动补偿08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10怎样让音频速度变慢？请跟随以下方法进行操作