【100天精通python】Day27：文件与IO操作_CSV文件处理

专栏导读

[1. CSV文件格式简介](#1. CSV文件格式简介)

[2 csv模块的使用方法](#2 csv模块的使用方法)

[3 读写CSV文件的示例](#3 读写CSV文件的示例)

[3.1 读取CSV文件示例](#3.1 读取CSV文件示例)

[3.2 写入CSV文件示例](#3.2 写入CSV文件示例)

[4 CSV文件的常用数据处理](#4 CSV文件的常用数据处理)

[4.1 读取CSV文件的特定列](#4.1 读取CSV文件的特定列)

[4.2 读取CSV文件的特定行](#4.2 读取CSV文件的特定行)

[5 csv 文件的特殊处理](#5 csv 文件的特殊处理)

[5.1 处理包含逗号、换行符、引号的字段](#5.1 处理包含逗号、换行符、引号的字段)

[5.2 处理非ASCII字符](#5.2 处理非ASCII字符)

[5.3 处理空字段](#5.3 处理空字段)

[5.3.1 读取空字段](#5.3.1 读取空字段)

[5.3.2 指定参数处理空字段](#5.3.2 指定参数处理空字段)

专栏导读

专栏订阅地址： https://blog.csdn.net/qq_35831906/category_12375510.html

1. CSV文件格式简介

CSV（逗号分隔值）是一种常见的文本文件格式，用于存储表格数据。每行代表一条记录，每个字段之间使用逗号或其他特定分隔符进行分隔。CSV文件可以使用纯文本编辑器打开，也可以用电子表格软件（如Microsoft Excel、Google Sheets）进行编辑。

2 csv模块的使用方法

Python中的csv模块提供了处理CSV文件的功能。它包含用于读取和写入CSV文件的各种方法和对象，如csv.reader、csv.writer、csv.DictReader和csv.DictWriter等。

3 读写CSV文件的示例

3.1 读取CSV文件示例

假设我们有一个名为data.csv的CSV文件，内容如下：

Name,Age,City
John,30,New York
Jane,25,San Francisco
Mike,35,Chicago

我们可以使用csv.reader来读取并处理这个CSV文件

python 复制代码

import csv

# 读取CSV文件并处理数据
with open('data.csv', 'r', newline='') as file:
    csv_reader = csv.reader(file)
    
    # 遍历每一行数据
    for row in csv_reader:
        print(row)

输出：

python 复制代码

['Name', 'Age', 'City']
['John', '30', 'New York']
['Jane', '25', 'San Francisco']
['Mike', '35', 'Chicago']

3.2 写入CSV文件示例

现在，假设我们有一组字典数据，我们想将其写入到一个新的CSV文件output.csv中：

python 复制代码

import csv

# 要写入的数据
data = [
    {"Name": "Alice", "Age": 28, "City": "London"},
    {"Name": "Bob", "Age": 32, "City": "Paris"},
    {"Name": "Eve", "Age": 24, "City": "Berlin"}
]

# 写入CSV文件
with open('output.csv', 'w', newline='') as file:
    fieldnames = ['Name', 'Age', 'City']
    csv_writer = csv.DictWriter(file, fieldnames=fieldnames)

    # 写入表头
    csv_writer.writeheader()

    # 写入数据
    csv_writer.writerows(data)

print("Data has been written to output.csv.")

输出：

python 复制代码

Name,Age,City
Alice,28,London
Bob,32,Paris
Eve,24,Berlin

4 CSV文件的常用数据处理

4.1 读取CSV文件的特定列

通过csv.reader或csv.DictReader读取CSV文件后，仅保留所需的列数据进行处理。我们可以通过列索引或列名来指定特定的列。

示例：假设我们有一个名为data.csv的CSV文件，内容如下：

python 复制代码

Name,Age,City
John,30,New York
Jane,25,San Francisco
Mike,35,Chicago

我们将展示两种方法来读取CSV文件的特定列：

方法一：使用列索引

python 复制代码

import csv

# 读取CSV文件并获取特定列数据
with open('data.csv', 'r', newline='') as file:
    csv_reader = csv.reader(file)
    
    # 将列索引设为1（第二列Age）
    column_index = 1
    
    # 初始化存储特定列数据的列表
    specific_column_data = []
    
    # 遍历每一行数据
    for row in csv_reader:
        # 获取特定列的值，并添加到列表中
        specific_column_data.append(row[column_index])

print("Specific column data:", specific_column_data)

输出：

python 复制代码

Specific column data: ['Age', '30', '25', '35']

方法二：使用列名

python 复制代码

import csv

# 读取CSV文件并获取特定列数据
with open('data.csv', 'r', newline='') as file:
    csv_reader = csv.DictReader(file)
    
    # 将列名设为'Age'
    column_name = 'Age'
    
    # 初始化存储特定列数据的列表
    specific_column_data = []
    
    # 遍历每一行数据
    for row in csv_reader:
        # 获取特定列的值，并添加到列表中
        specific_column_data.append(row[column_name])

print("Specific column data:", specific_column_data)

输出

python 复制代码

Specific column data: ['30', '25', '35']

以上示例中，我们通过csv.reader和csv.DictReader分别读取CSV文件，并根据特定的列索引或列名提取所需的列数据。然后，我们将特定列的数据存储在一个列表中，供后续处理使用。

注意：使用csv.DictReader时，每行数据将被解析为一个字典，其中键是CSV文件的第一行（表头）的列名 。这样我们可以通过列名来访问特定列的值。而使用csv.reader时，每行数据将被解析为一个列表，我们可以通过列索引来访问特定列的值。

4.2 读取CSV文件的特定行

要读取CSV文件的特定行，我们可以使用csv.reader或csv.DictReader来逐行读取CSV文件，并在读取过程中判断行号是否满足特定条件。以下是使用csv.reader和csv.DictReader读取CSV文件特定行的示例：

示例1：使用csv.reader读取特定行

假设我们有一个名为data.csv的CSV文件，内容如下：

python 复制代码

Name,Age,City
John,30,New York
Jane,25,San Francisco
Mike,35,Chicago

我们可以使用csv.reader来读取CSV文件，并根据特定的行号来获取对应的行数据：

python 复制代码

import csv

# 读取CSV文件的特定行
def read_specific_row(csv_file, row_number):
    with open(csv_file, 'r', newline='') as file:
        csv_reader = csv.reader(file)
        for i, row in enumerate(csv_reader):
            if i == row_number:
                return row

# 读取第二行（索引为1）的数据
specific_row = read_specific_row('data.csv', 1)
print("Specific row data:", specific_row)

输出

python 复制代码

Specific row data: ['Jane', '25', 'San Francisco']

示例2：使用csv.DictReader读取特定行

如果CSV文件的第一行是列名，我们可以使用csv.DictReader来读取CSV文件，并根据特定条件来获取特定行的数据：

python 复制代码

import csv

# 读取CSV文件的特定行
def read_specific_row(csv_file, row_number):
    with open(csv_file, 'r', newline='') as file:
        csv_reader = csv.DictReader(file)
        for i, row in enumerate(csv_reader):
            if i == row_number:
                return row

# 读取第二行（索引为1）的数据
specific_row = read_specific_row('data.csv', 1)
print("Specific row data:", specific_row)

输出

python 复制代码

Specific row data: {'Name': 'Jane', 'Age': '25', 'City': 'San Francisco'}

在以上示例中，我们分别使用了csv.reader和csv.DictReader来读取CSV文件，并通过特定的行号（索引）获取了相应的行数据。注意，行号是从0开始的，因为在Python中索引是从0开始计数。根据需要，可以调整row_number参数来读取不同的行。

5 csv 文件的特殊处理

在处理CSV文件时，有一些常见的特殊情况需要特别处理。以下是一些常见的特殊处理情况

5.1 处理包含逗号、换行符、引号的字段

处理包含逗号、引号和换行符的CSV文件，可以使用Python的csv模块来读取和写入数据。csv模块提供了对于特殊字符的自动处理，包括将包含逗号、引号和换行符的字段用引号包裹起来，并在引号内的引号进行转义。

示例：

假设我们要处理以下包含特殊字符的CSV文件，名为data.csv：

python 复制代码

Name,Age,Description
John,30,"A software, ""guru"" with 5 years of experience. Fluent in English and Español."
Jane,25,"A data analyst with ""extensive"" skills. 
Passionate about data visualization."
Mike,35,"Project manager with experience leading international teams.
Deutsch sprechen."

我们可以使用下面的代码来读取和处理这个包含特殊字符的CSV文件：

python 复制代码

import csv

# 读取包含特殊字符的CSV文件并输出内容
with open('data.csv', 'r', newline='') as file:
    csv_reader = csv.reader(file)
    for row in csv_reader:
        print(row)

输出结果

python 复制代码

['Name', 'Age', 'Description']
['John', '30', 'A software, "guru" with 5 years of experience. Fluent in English and Español.']
['Jane', '25', 'A data analyst with "extensive" skills.\nPassionate about data visualization.']
['Mike', '35', 'Project manager with experience leading international teams.\nDeutsch sprechen.']

在输出结果中，我们可以看到csv.reader模块正确处理了包含逗号、引号和换行符的字段，并将其解析为正确的数据。

如果要将数据写入到包含特殊字符的CSV文件中，可以使用以下示例代码：

python 复制代码

import csv

# 要写入的数据，包含特殊字符的字段
data = [
    ["Name", "Age", "Description"],
    ["John", 30, 'A software, "guru" with 5 years of experience. Fluent in English and Español.'],
    ["Jane", 25, 'A data analyst with "extensive" skills.\nPassionate about data visualization.'],
    ["Mike", 35, 'Project manager with experience leading international teams.\nDeutsch sprechen.']
]

# 写入CSV文件，并设置引号限定符为双引号
with open('output.csv', 'w', newline='') as file:
    csv_writer = csv.writer(file, quoting=csv.QUOTE_MINIMAL)

    # 写入数据
    csv_writer.writerows(data)

print("CSV file with fields containing special characters has been created.")

在写入数据时，我们使用csv.writer并设置引号限定符为csv.QUOTE_MINIMAL，表示只在必要时才使用引号包裹字段，确保数据的正确性。

输出文件内容：

python 复制代码

Name,Age,Description
John,30,A software, "guru" with 5 years of experience. Fluent in English and Español.
Jane,25,A data analyst with "extensive" skills.\nPassionate about data visualization.
Mike,35,Project manager with experience leading international teams.\nDeutsch sprechen.

在输出文件中，csv模块自动处理了包含特殊字符的字段，并将其写入到CSV文件中。

在读取CSV文件时，使用csv.reader并指定适当的参数，可以正确地解析包含特殊字符的数据。在写入CSV文件时，使用csv.writer并设置合适的引号限定符，可以确保数据正确写入CSV文件。

5.2 处理非ASCII字符

在读取和写入CSV文件时，可以使用 encoding参数来指定文件的编码格式。

CSV文件通常使用UTF-8编码来支持包含非ASCII字符的文本数据。

python 复制代码

import csv

# 读取包含非ASCII字符的CSV文件
with open("data.csv", "r", encoding="utf-8") as file:
    csv_reader = csv.reader(file)
    for row in csv_reader:
        print(row)

# 写入包含非ASCII字符的CSV文件
data = [["中文", "English"], ["数据", "Data"]]
with open("data.csv", "w", newline="", encoding="utf-8") as file:
    csv_writer = csv.writer(file)
    csv_writer.writerows(data)

5.3 处理空字段

如果CSV文件中存在空字段，可以使用空字符串或特定的值（如"NA"或"None"）表示空字段

在读取CSV文件时，可以使用 csv.reader的 skipinitialspace参数来处理前导空格

5.3.1 读取空字段

假设我们有一个名为data.csv的CSV文件，内容如下：

python 复制代码

Name,Age,City,Description
John,30,New York,"Software engineer with 5 years of experience. Fluent in English and Español."
Jane,,San Francisco,"Data analyst with a passion for data visualization. Speaks français."
Mike,35,, "Project manager with experience leading international teams. Deutsch sprechen."

注意上面的CSV文件中存在空字段。

我们依然可以使用csv.reader和csv.DictReader来读取这个包含空字段的CSV文件，并对空字段进行处理：

示例1：

python 复制代码

import csv

# 读取CSV文件并输出内容
with open('data.csv', 'r', newline='') as file:
    csv_reader = csv.reader(file)
    for row in csv_reader:
        # 处理空字段
        processed_row = [field.strip() if field.strip() else None for field in row]
        print(processed_row)

输出：

python 复制代码

['Name', 'Age', 'City', 'Description']
['John', '30', 'New York', 'Software engineer with 5 years of experience. Fluent in English and Español.']
['Jane', None, 'San Francisco', 'Data analyst with a passion for data visualization. Speaks français.']
['Mike', '35', None, 'Project manager with experience leading international teams. Deutsch sprechen.']

解释：

第一行是CSV文件的标题行，直接输出。

第二行中的Age字段为空，我们处理为空值（None）。

第三行中的City字段为空，我们处理为空值（None）。

第四行中的Description字段不为空，输出不变。

在处理空字段时，我们使用列表推导式来遍历每一行中的字段。field.strip()用于去除字段两侧的空白字符（包括换行符、空格等），然后我们使用条件表达式来判断是否为空字段。如果字段不为空，则保持原值；如果字段为空，则将其处理为None表示空值。最终，我们得到了处理后的每一行数据。

示例2 ：

可以使用csv.reader来读取这个包含空字段和前导空格的CSV文件，并使用skipinitialspace=True来处理前导空格

python 复制代码

import csv

# 读取CSV文件并输出内容
with open('data.csv', 'r', newline='') as file:
    csv_reader = csv.reader(file, skipinitialspace=True)
    for row in csv_reader:
        print(row)

输出

python 复制代码

['Name', 'Age', 'City', 'Description']
['John', '30', 'New York', 'Software engineer with 5 years of experience.']
['Jane', '', 'San Francisco', 'Data analyst with a passion for data visualization.']
['Mike', '35', '', 'Project manager with experience leading international teams.']

在示例中，我们使用csv.reader来读取CSV文件，并使用skipinitialspace=True来处理前导空格。结果显示，字段值前的空格已被自动去除，这样可以更好地处理包含前导空格的数据。在第二行和第三行中，字段"Age"和"City"的值包含前导空格，但在输出中已经去除了这些前导空格。

5.3.2 指定参数处理空字段

处理空字段在CSV文件中通常需要根据具体情况来决定。CSV文件中的空字段可以使用空字符串（''）来表示，也可以使用特定的值（如"NA"或"None"）来表示。在处理空字段时，需要根据数据的组织和要求来决定最合适的方式。

在Python的csv模块中，可以使用csv.writer和csv.DictWriter的quoting参数来指定如何处理空字段。

处理空字段的选项：

csv.QUOTE_MINIMAL（默认）： 如果字段为空，字段将被写入为一个空字符串（''）。在读取CSV文件时，空字符串会被解析为空值。

csv.QUOTE_ALL： 如果字段为空，字段将被写入为双引号包裹的空字符串（""）。在读取CSV文件时，空字符串会被解析为空值。

csv.QUOTE_NONNUMERIC： 如果字段为空，字段将被写入为一个空字符串（''）。在读取CSV文件时，空字符串会被解析为None或空值。

csv.QUOTE_NONE： 如果字段为空，字段将被写入为一个空字符串（''）。在读取CSV文件时，空字符串会被解析为空字符串本身，而不是空值。

示例：

假设我们有一个包含空字段的CSV文件，名为data.csv，内容如下：

python 复制代码

Name,Age,City,Description
John,30,New York,
Jane,,San Francisco,"Data analyst with a passion for data visualization."
Mike,35,,Project manager

我们将使用csv.writer和csv.DictWriter来处理这个包含空字段的CSV文件，并演示不同选项的效果。

python 复制代码

import csv

# CSV文件处理选项
quoting_options = [csv.QUOTE_MINIMAL, csv.QUOTE_ALL, csv.QUOTE_NONNUMERIC, csv.QUOTE_NONE]
output_files = ['output_minimal.csv', 'output_all.csv', 'output_nonnumeric.csv', 'output_none.csv']

# 处理CSV文件
for quoting, output_file in zip(quoting_options, output_files):
    # 要写入的数据，包含空字段
    data = [
        ["John", 30, "New York", ""],
        ["Jane", "", "San Francisco", "Data analyst with a passion for data visualization."],
        ["Mike", 35, "", "Project manager"]
    ]

    # 写入CSV文件
    with open(output_file, 'w', newline='') as file:
        csv_writer = csv.writer(file, quoting=quoting)

        # 写入数据
        csv_writer.writerows(data)

print("CSV files with different quoting options have been created.")

在以上示例中，我们分别使用不同的quoting选项来处理包含空字段的CSV文件，并将处理后的数据写入不同的输出文件。

我们创建了四个输出文件，分别使用不同的quoting选项，即csv.QUOTE_MINIMAL、csv.QUOTE_ALL、csv.QUOTE_NONNUMERIC和csv.QUOTE_NONE。你可以查看各个输出文件，观察不同选项对于空字段的处理效果。

结果如下