文章目录
- [1. 数据导入](#1. 数据导入)
- [2. 数据导出](#2. 数据导出)
- [3. 缺失值处理](#3. 缺失值处理)
1. 数据导入
- Pandas提供了多种方法来读取不同格式的数据文件,以下是一些常见的方法
- 读取CSV文件
python
import pandas as pd
# 读取CSV文件(默认编码和表头)
df_1 = pd.read_csv("data1.csv")
# 指定编码格式,并设置无表头
df_2 = pd.read_csv("data2.csv", encoding='utf8', header=None)
2. 读取Excel文件
python
# 读取Excel文件
df_3 = pd.read_excel("data3.xlsx")
- 读取TXT文件
python
# 读取TXT文件,指定分隔符和表头
df_4 = pd.read_table("data4.txt", sep=',', header=None)
# sep=',':指定文件的分隔符为逗号(,)
2. 数据导出
数据整理完毕后,通常需要将处理结果存储至文件中
- 导出为CSV文件
python
df_1.to_csv("导出.csv", index=True, header=True)
# index=True:表示导出时包含 DataFrame 的索引(行标签),默认值为 True;若设为 False,则不导出索引。
- 导出为Excel文件
python
df_1.to_excel("导出.xlsx", index=True, header=True)
3. 缺失值处理
- 在实际数据中,经常会遇到数据缺失的情况。处理缺失值主要有三种方式:
- 检测缺失值
首先需要确定数据中是否存在缺失值以及它们的位置:
python
import pandas as pd
# 读取数据文件
df = pd.read_csv(r"data.csv", encoding='gbk', engine='python')
# 进行逻辑判断,判定空值所在的位置
na = df.isnull()
- 处理缺失值的三种方法
- 方法一:填充缺失值
python
# 用指定值填充缺失值
df1 = df.fillna('1')
- 方法二:删除含有缺失值的行
python
# 删除缺失值【删除整行数据】
df2 = df.dropna()
print(df2)
- 方法三:不处理
在某些情况下,根据分析需求,可以选择保留缺失值不做处理。