29 Python的pandas模块

hope_wisdom2023-10-18 8:14

概述

在上一节，我们介绍了Python的numpy模块，包括：多维数组、数组索引、数组操作、数学函数、线性代数、随机数生成等内容。在这一节，我们将介绍Python的pandas模块。pandas模块是Python编程语言中用于数据处理和分析的强大模块，它提供了许多用于数据操作和清洗的函数，使得数据处理和分析变得更为简单和直观。

在Python中使用pandas模块，需要先安装pandas库。可以通过pip命令进行安装：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas。安装完成后，就可以在Python脚本中导入pandas模块，并使用其函数和方法了。

Series

Series是一个一维数组，它不仅包含数据，还包含索引。Series可以被看作是一个字典，其中的索引是键，值是数据。每个索引只有一个对应的值，因此Series可以被看作是具有标签化的数值数据。

python 复制代码 
import pandas as pd

# 创建一个Series
s = pd.Series([1, 2, 3, 4, 5])
# 输出：
# 0    1
# 1    2
# 2    3
# 3    4
# 4    5
# dtype: int64
print(s)

上面的示例代码创建了一个包含五个整数的Series，默认情况下，它的索引是从0开始的整数。

当然，我们也可以提供一个列表作为Series的索引和值。

python 复制代码 
import pandas as pd

# 创建一个带有自定义索引和值的Series
index = ['C', 'S', 'D', 'N', 'P']
s = pd.Series([1, 2, 3, 4, 5], index = index)
# 输出：
# C    1
# S    2
# D    3
# N    4
# P    5
# dtype: int64
print(s)

我们还可以直接使用字典创建带有自定义数据标签的数据，pandas会自动把字典的键作为数据标签，字典的值作为相对应的数据。

python 复制代码 
import pandas as pd

# 创建一个带有自定义索引和值的Series
s = pd.Series({'C': 1, 'S': 2, 'D': 3, 'N': 4, 'P': 5})
# 输出：
# C    1
# S    2
# D    3
# N    4
# P    5
# dtype: int64
print(s)

如果想访问Series里的数据，也非常简单，直接使用中括号加数据标签的方式即可。

python 复制代码 
import pandas as pd

s = pd.Series([1, 2, 3, 4, 5])
# 访问第二个元素，输出：3
print(s[2])

s = pd.Series({'C': 1, 'S': 2, 'D': 3, 'N': 4, 'P': 5})
# 访问Key值为'D'的元素，输出：3
print(s['D'])

使用Series，结合pandas强大的数据对齐功能，可以让我们快速对数据进行分析和处理。

python 复制代码 
import pandas as pd

s1 = pd.Series({'Red': 1, 'Blue': 2, 'Green': 3})
s2 = pd.Series({'Red': 100, 'Blue': 200, 'Green': 300})
s = s1 + s2
# 将两个Series进行相加，输出：
# Red      101
# Blue     202
# Green    303
# dtype: int64
print(s)

s1 = pd.Series({'Red': 1, 'Blue': 2, 'Green': 3, 'White': 4})
s2 = pd.Series({'Red': 100, 'Blue': 200, 'Green': 300})
s = s1 + s2
# 数据标签不相同的数据，运算后结果是NaN，输出：
# Blue     202.0
# Green    303.0
# Red      101.0
# White      NaN
# dtype: float64
print(s)

# 数据标签不相同的数据，调用add函数，可以设置默认填充值，输出：
# Blue     202.0
# Green    303.0
# Red      101.0
# White      4.0
# dtype: float64
s = s1.add(s2, fill_value = 0)
print(s)

DataFrame

DataFrame是一个二维的表格型数据结构，类似于Excel或数据库中的表。DataFrame中的数据可以是不同的数据类型，比如：整数、浮点数、字符串、布尔值等。

python 复制代码 
import pandas as pd

# 创建DataFrame
data = {'Name': ['Jack', 'Tank', 'John'], 'Age': [20, 21, 19]}
df = pd.DataFrame(data)
# 输出：
#    Name  Age
# 0  Jack   20
# 1  Tank   21
# 2  John   19
print(df)

使用DataFrame，我们可以很方便地对表中的行、列进行增删改查等操作。使用df['column_name']可以查看指定列的数据；使用df.iloc[row_number]可以查看指定行的数据；使用df.loc[row_label]可以基于标签访问指定行的数据；使用df[condition]可以筛选出满足条件的数据：使用df['new_column'] = values可以添加一个新列；使用del df['column_name']可以删除一列。

python 复制代码 
import pandas as pd

# 创建DataFrame
data = {'Name': ['Jack', 'Tank', 'John'], 'Age': [20, 21, 19]}
df = pd.DataFrame(data)
# 输出：
#    Name  Age
# 0  Jack   20
# 1  Tank   21
# 2  John   19
print(df)

df = pd.DataFrame(data, index = ['First', 'Second', 'Third'])
# 指定自定义索引，输出：
#         Name  Age
# First   Jack   20
# Second  Tank   21
# Third   John   19
print(df)

# 访问列数据，输出：
# First     Jack
# Second    Tank
# Third     John
# Name: Name, dtype: object
print(df['Name'])
# 根据行索引访问行数据，输出：
# Name    John
# Age       19
# Name: Third, dtype: object
print(df.iloc[2])
# 根据行标签访问行数据，输出：
# Name    John
# Age       19
# Name: Third, dtype: object
print(df.loc['Third'])

df['Age'] = [22, 18, 20]
# 修改列数据，输出：
#         Name  Age
# First   Jack   22
# Second  Tank   18
# Third   John   20
print(df)

df['Gender'] = ['M', 'F', 'F']
# 新增列数据，输出：
#         Name  Age Gender
# First   Jack   22      M
# Second  Tank   18      F
# Third   John   20      F
print(df)

del df['Gender']
# 删除列数据，输出：
#         Name  Age
# First   Jack   22
# Second  Tank   18
# Third   John   20
print(df)

# 筛选出年龄大于20的数据，输出：
#        Name  Age
# First  Jack   22
print(df[df['Age'] > 20])

数据读取和写入

使用pandas，可以方便地读取和写入各种数据格式，比如：CSV、Excel、SQL数据库等。我们以CSV文件的读写为例，来理解CSV表格数据的读取和写入。

python 复制代码 
import pandas as pd

# 创建DataFrame
data = {'Name': ['Jack', 'Tank', 'John'], 'Age': [20, 21, 19]}
df = pd.DataFrame(data)

# 将DataFrame写入CSV文件
df.to_csv('output.csv', index = False)

在上面的示例代码中，我们首先创建了一个名为df的DataFrame，然后使用to_csv函数将其写入一个名为output.csv的CSV文件中。我们将index参数设置为False，以避免将DataFrame的索引写入CSV文件。

to_csv函数还有其他一些可选参数，包括：

sep：用于指定CSV文件中的分隔符，默认是逗号。

header：用于指定是否将DataFrame的列名写入CSV文件中，默认为True。

encoding：用于指定文件的编码格式，默认为UTF-8。

compression：用于指定文件的压缩格式，默认为None。

在下面的示例代码中，我们读取了上面保存的名为output.csv的CSV文件，并将其转化为一个pandas DataFrame。

python 复制代码 
import pandas as pd

# 从CSV文件读取 
df = pd.read_csv('output.csv')
# 输出：
#    Name  Age
# 0  Jack   20
# 1  Tank   21
# 2  John   19
print(df)

read_csv函数还有其他一些可选参数，包括：

sep：指定分隔符，默认为逗号。

header：指定行号作为列名，默认为0。

index_col：将一列或多列设为DataFrame的索引。

usecols：返回的列的子集，可以是一个列表或函数。

dtype：为每一列设置数据类型。

skiprows：跳过指定的行数或行号。

na_values：用于识别空值的字符串或字符串列表。

keep_default_na：是否保留默认的识别空值的字符串。

相关推荐
南宫理的日知录28 分钟前
99、Python并发编程：多线程的问题、临界资源以及同步机制
开发语言·python·学习·编程学习
coberup37 分钟前
django Forbidden (403)错误解决方法
python·django·403错误
龙哥说跨境1 小时前
如何利用指纹浏览器爬虫绕过Cloudflare的防护？
服务器·网络·python·网络爬虫
小白学大数据1 小时前
正则表达式在Kotlin中的应用：提取图片链接
开发语言·python·selenium·正则表达式·kotlin
flashman9111 小时前
python在word中插入图片
python·microsoft·自动化·word
菜鸟的人工智能之路1 小时前
桑基图在医学数据分析中的更复杂应用示例
python·数据分析·健康医疗
懒大王爱吃狼3 小时前
Python教程：python枚举类定义和使用
开发语言·前端·javascript·python·python基础·python编程·python书籍
秃头佛爷4 小时前
Python学习大纲总结及注意事项
开发语言·python·学习
深度学习lover5 小时前
＜项目代码＞YOLOv8 苹果腐烂识别＜目标检测＞
人工智能·python·yolo·目标检测·计算机视觉·苹果腐烂识别
API快乐传递者6 小时前
淘宝反爬虫机制的主要手段有哪些？
爬虫·python
热门推荐
01【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【AIGC】重塑未来的科技巨轮05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06【经验分享】Ubuntu22.04安装微信(linux官方版)07基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09RAG 实践- Ollama+RagFlow 部署本地知识库10红米手机使用google play