第二章——数据分析场景之用Python进行CSV/Excel数据清洗：为数据分析筑牢根基

在当今数字化时代，数据是推动决策和业务发展的核心驱动力。然而，我们获取到的原始数据往往不尽人意，充斥着噪声、缺失值等各类问题。这些问题若不加以妥善处理，将会严重干扰数据分析的准确性与可靠性，进而对基于数据分析所做出的决策产生负面影响。本部分将深入探讨如何运用Python对CSV和Excel格式的数据进行清洗，助力大家迈出成功数据分析的第一步。

一、课程引入：原始数据问题对分析的影响

原始数据中的噪声就像是混入美玉中的杂质，它可能源于数据录入错误、测量误差或系统故障等。例如，在一份员工薪资数据中，可能出现个别薪资数值异常偏大或偏小的情况，这些噪声数据会扭曲整体薪资水平的分析结果。

缺失值同样是个棘手的问题。想象一下，在市场调研问卷中，部分受访者可能未填写某些问题，导致数据集中出现空白值。如果在分析时忽略这些缺失值，可能会使样本不具代表性，从而得出错误的结论。

这些原始数据的问题犹如隐藏在暗处的陷阱，稍不留意就会让数据分析误入歧途，因此数据清洗至关重要。

二、需求分析

我们的任务是接收CSV或Excel格式的原始数据文件，经过一系列精心设计的数据清洗操作后，输出一份干净、准确且适合进一步分析的数据文件。无论是小型数据集，还是包含海量信息的大型数据集，都要确保清洗后的数据能够满足后续分析的要求。

三、核心功能拆解

1. 数据读取：根据数据文件的格式（CSV或Excel），运用合适的方法将数据读取到Python环境中，为后续的数据处理奠定基础。
2. 缺失值处理：精准识别数据集中的缺失值，并依据数据特点和分析目的，采用填充或删除等策略进行处理，以保证数据的完整性。
3. 重复值处理：在数据集中查找并剔除那些重复的数据记录，避免重复信息对分析结果造成干扰，确保数据的唯一性。
4. 异常值处理：借助特定的算法，如四分位数间距法，识别出数据中的异常值，并选择恰当的方式进行处理，使数据更能反映真实情况。

四、代码分步实现

导入pandas库，根据文件格式选择读取函数

pandas是Python中处理表格数据的强大工具，我们首先需要导入它。

import pandas as pd

接下来，根据数据文件格式选择读取函数。如果是CSV文件，使用read_csv()函数；若是Excel文件，则使用read_excel()函数。假设我们有一个名为data.csv的CSV文件和一个名为data.xlsx的Excel文件。

# 读取CSV文件
csv_data = pd.read_csv('data.csv')

# 读取Excel文件
excel_data = pd.read_excel('data.xlsx')

read_csv()和read_excel()函数都有多个参数，可以根据数据的实际情况进行调整。例如，read_csv()函数的sep参数可用于指定分隔符，read_excel()函数的sheet_name参数可指定要读取的工作表。

检测并处理缺失值，讲解fillna()、dropna()等函数

使用isnull()函数可以检测数据集中的缺失值，它会返回一个与原数据集相同大小的布尔值数据集，其中缺失值对应的位置为True，非缺失值位置为False。

# 检测CSV数据中的缺失值
csv_missing = csv_data.isnull()

# 检测Excel数据中的缺失值
excel_missing = excel_data.isnull()

对于缺失值的处理，pandas提供了fillna()和dropna()函数。

fillna()函数用于填充缺失值。例如，如果数据集中数值型列的缺失值可以用该列的均值填充，代码如下：

# 用均值填充CSV数据中的数值型列缺失值
for col in csv_data.select_dtypes(include=['number']).columns:
    csv_data[col] = csv_data[col].fillna(csv_data[col].mean())

# 用均值填充Excel数据中的数值型列缺失值
for col in excel_data.select_dtypes(include=['number']).columns:
    excel_data[col] = excel_data[col].fillna(excel_data[col].mean())

dropna()函数则用于删除包含缺失值的行或列。如果要删除CSV数据中包含任何缺失值的行，可以这样操作：

csv_data = csv_data.dropna()

若只想删除那些所有值都为缺失值的行，可使用how='all'参数：

csv_data = csv_data.dropna(how='all')

对于Excel数据的处理方式类似。在实际应用中，选择填充还是删除缺失值，需要根据数据的具体情况和分析目的来决定。

查找并删除重复值，使用duplicated()函数

duplicated()函数用于查找数据集中的重复行，它返回一个布尔值序列，标识每一行是否为重复行（True表示重复，False表示不重复）。

# 查找CSV数据中的重复行
csv_duplicates = csv_data.duplicated()

# 查找Excel数据中的重复行
excel_duplicates = excel_data.duplicated()

要删除CSV数据中的重复行，可使用以下代码：

csv_data = csv_data.drop_duplicates()

同样，对于Excel数据：

excel_data = excel_data.drop_duplicates()

默认情况下，duplicated()和drop_duplicates()函数会考虑所有列来判断行是否重复。如果只想根据某些特定列判断，可以通过subset参数指定。例如，只根据'column1'和'column2'列判断重复行：

csv_data = csv_data.drop_duplicates(subset=['column1', 'column2'])
excel_data = excel_data.drop_duplicates(subset=['column1', 'column2'])

识别并处理异常值，如通过四分位数间距法，注释算法原理

四分位数间距（Inter - Quartile Range，IQR）法是一种常用的识别异常值的方法。其原理是：将数据从小到大排序后，计算第一四分位数（Q1）和第三四分位数（Q3），IQR = Q3 - Q1。数据中小于Q1 - 1.5 * IQR 或大于Q3 + 1.5 * IQR 的值被视为异常值。

以下是使用四分位数间距法识别并处理CSV数据中数值型列异常值的代码：

for col in csv_data.select_dtypes(include=['number']).columns:
    Q1 = csv_data[col].quantile(0.25)
    Q3 = csv_data[col].quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    csv_data[col] = np.where((csv_data[col] < lower_bound) | (csv_data[col] > upper_bound), np.nan, csv_data[col])
    csv_data[col] = csv_data[col].fillna(csv_data[col].mean())

上述代码中，首先计算每列的Q1、Q3和IQR，确定上下界。然后使用np.where()函数将异常值替换为NaN，最后再用均值填充这些缺失值。对于Excel数据的处理方法类似。

保存清洗后的数据，讲解文件覆盖与新文件创建

清洗完数据后，需要将结果保存下来。如果想覆盖原始文件，可以使用以下方法：

# 保存清洗后的CSV数据覆盖原始文件
csv_data.to_csv('data.csv', index=False)

# 保存清洗后的Excel数据覆盖原始文件
excel_data.to_excel('data.xlsx', index=False)

index=False参数表示不保存数据的索引。

若要创建新文件保存清洗后的数据，只需修改文件名即可。例如：

# 保存清洗后的CSV数据到新文件
csv_data.to_csv('cleaned_data.csv', index=False)

# 保存清洗后的Excel数据到新文件
excel_data.to_excel('cleaned_data.xlsx', index=False)

五、优化迭代：针对大数据集优化清洗算法，提高效率

对于大数据集，常规的数据清洗方法可能会因内存占用过高或处理时间过长而变得不适用。一种优化方法是采用分块读取数据。例如，在读取CSV文件时，可以设置chunksize参数，每次读取一部分数据进行清洗，处理完后再读取下一部分。

chunksize = 10000
for chunk in pd.read_csv('large_data.csv', chunksize=chunksize):
    # 对每个数据块进行缺失值、重复值、异常值处理
    for col in chunk.select_dtypes(include=['number']).columns:
        chunk[col] = chunk[col].fillna(chunk[col].mean())
    chunk = chunk.drop_duplicates()
    for col in chunk.select_dtypes(include=['number']).columns:
        Q1 = chunk[col].quantile(0.25)
        Q3 = chunk[col].quantile(0.75)
        IQR = Q3 - Q1
        lower_bound = Q1 - 1.5 * IQR
        upper_bound = Q3 + 1.5 * IQR
        chunk[col] = np.where((chunk[col] < lower_bound) | (chunk[col] > upper_bound), np.nan, chunk[col])
        chunk[col] = chunk[col].fillna(chunk[col].mean())
    # 将清洗后的数据块写入新文件
    if 'cleaned_large_data.csv' not in locals():
        chunk.to_csv('cleaned_large_data.csv', index=False)
    else:
        chunk.to_csv('cleaned_large_data.csv', index=False, mode='a', header=False)

这样可以有效减少内存占用，提高清洗大数据集的效率。

六、部署测试：使用不同规模和质量的数据集测试清洗效果

在实际应用前，需要使用不同规模和质量的数据集对清洗代码进行全面测试。从仅有少量缺失值和重复值的小型数据集，到包含大量噪声、缺失值和复杂数据类型的大型数据集，都要逐一进行测试。

例如，手动创建一些包含不同问题的测试数据集，检查清洗后的数据是否符合预期。验证缺失值是否被正确填充或删除，重复值是否完全剔除，异常值是否处理得当。同时，对比清洗前后的数据统计特征，如均值、中位数等，确保数据清洗没有对数据的整体特征造成不合理的改变。

七、问题排查：解决因数据类型误判、清洗过度等导致的数据错误问题

在数据清洗过程中，可能会出现数据类型误判的情况。例如，将本应是数值型的数据误判为对象类型，导致某些统计函数无法正确应用，或者在处理缺失值和异常值时出现错误。此时，需要仔细检查数据的原始格式，使用astype()函数进行数据类型转换。

清洗过度也是一个常见问题。比如，在删除缺失值或重复值时，可能误删了一些关键数据。为避免这种情况，可以在执行删除操作前备份数据，或者仔细评估删除操作对数据的影响。在处理异常值时，要确保选择的处理方法不会过度改变数据的真实分布。通过仔细检查和调试代码，逐步解决这些问题，保证数据清洗的准确性和可靠性。

通过以上步骤，我们可以利用Python对CSV和Excel数据进行全面、高效的数据清洗，为后续的数据分析工作提供坚实的数据基础。希望大家通过实践，熟练掌握这些数据清洗技巧，在数据分析的道路上稳步前行。