python文件操作相关(csv)

python文件操作相关(csv)

  • [1. csv 模块](#1. csv 模块)
    • [读取 CSV 文件](#读取 CSV 文件)
    • [读取 CSV 文件并转换为字典](#读取 CSV 文件并转换为字典)
    • [写入 CSV 文件](#写入 CSV 文件)
    • [写入 CSV 文件并使用字典](#写入 CSV 文件并使用字典)
  • [2. pandas 库](#2. pandas 库)
    • [读取 CSV 文件](#读取 CSV 文件)
    • 读取特定列
    • [写入 CSV 文件](#写入 CSV 文件)
    • [写入 CSV 文件并指定分隔符](#写入 CSV 文件并指定分隔符)
  • [3. 其他高级功能](#3. 其他高级功能)
  • 参考资料

在 Python 中,操作 CSV文件通常使用 csv 模块和 pandas 库,这两个工具提供了丰富的功能,可以方便地读取、写入和处理CSV 文件

1. csv 模块

csv 模块是 Python 标准库的一部分,提供了读取和写入 CSV 文件的基本功能

主要功能

  • 读取 CSV 文件:将 CSV 文件读取为 Python 列表或其他数据结构
  • 写入 CSV 文件:将 Python 列表或其他数据结构写入 CSV 文件
  • 处理特殊字符:支持处理包含逗号、换行符等特殊字符的字段

读取 CSV 文件

python 复制代码
import csv

# 读取 CSV 文件
with open('example.csv', mode='r', newline='', encoding='utf-8') as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)

读取 CSV 文件并转换为字典

python 复制代码
import csv

# 读取 CSV 文件并转换为字典
with open('example.csv', mode='r', newline='', encoding='utf-8') as file:
    reader = csv.DictReader(file)
    for row in reader:
        print(row)

写入 CSV 文件

python 复制代码
import csv

# 数据
data = [
    ['Name', 'Age'],
    ['Alice', 25],
    ['Bob', 30]
]

# 写入 CSV 文件
with open('example.csv', mode='w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerows(data)

写入 CSV 文件并使用字典

python 复制代码
import csv

# 数据
data = [
    {'Name': 'Alice', 'Age': 25},
    {'Name': 'Bob', 'Age': 30}
]

# 写入 CSV 文件
with open('example.csv', mode='w', newline='', encoding='utf-8') as file:
    fieldnames = ['Name', 'Age']
    writer = csv.DictWriter(file, fieldnames=fieldnames)
    writer.writeheader()
    writer.writerows(data)

2. pandas 库

pandas 是一个强大的数据分析库,支持读取和写入多种数据格式,包括 CSV 文件,pandas提供了丰富的数据处理功能,如数据筛选、排序、聚合等

主要功能

  • 读取 CSV 文件:将 CSV 文件加载为 DataFrame
  • 写入 CSV 文件:将 DataFrame 保存为 CSV 文件
  • 数据处理:支持数据筛选、排序、聚合等操作

读取 CSV 文件

python 复制代码
import pandas as pd

# 读取 CSV 文件
df = pd.read_csv('example.csv')
print(df)

读取特定列

python 复制代码
import pandas as pd

# 读取特定列
df = pd.read_csv('example.csv', usecols=['Name', 'Age'])
print(df)

写入 CSV 文件

python 复制代码
import pandas as pd

# 数据
data = {
    'Name': ['Alice', 'Bob'],
    'Age': [25, 30]
}

# 创建 DataFrame
df = pd.DataFrame(data)

# 写入 CSV 文件
df.to_csv('example.csv', index=False)

写入 CSV 文件并指定分隔符

python 复制代码
import pandas as pd

# 数据
data = {
    'Name': ['Alice', 'Bob'],
    'Age': [25, 30]
}

# 创建 DataFrame
df = pd.DataFrame(data)

# 写入 CSV 文件并指定分隔符
df.to_csv('example.csv', index=False, sep=';')

3. 其他高级功能

处理大文件

对于非常大的 CSV 文件,可以使用 pandas 的 read_csv 函数的 chunksize 参数分块

读取数据

python 复制代码
import pandas as pd

# 分块读取 CSV 文件
chunksize = 10000
chunks = []

for chunk in pd.read_csv('large_example.csv', chunksize=chunksize):
    # 处理每个 chunk
    processed_chunk = chunk[chunk['Age'] > 25]  # 例如,筛选年龄大于 25 的行
    chunks.append(processed_chunk)

# 合并所有 chunk
df = pd.concat(chunks)
print(df)

数据清洗

pandas 提供了丰富的数据清洗功能,如删除缺失值、替换值、重命名列等

python 复制代码
import pandas as pd

# 读取 CSV 文件
df = pd.read_csv('example.csv')

# 删除缺失值
df.dropna(inplace=True)

# 替换值
df['Age'].replace(25, 26, inplace=True)

# 重命名列
df.rename(columns={'Name': 'FullName'}, inplace=True)

print(df)

参考资料

相关推荐
future141227 分钟前
C#学习日记
开发语言·学习·c#
菜包eo28 分钟前
二维码驱动的独立站视频集成方案
网络·python·音视频
Yo_Becky34 分钟前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他
king_harry43 分钟前
Java程序-OceanBase Connector/J 示例
开发语言
yzx9910131 小时前
关于网络协议
网络·人工智能·python·网络协议
fangeqin1 小时前
ubuntu源码安装python3.13遇到Could not build the ssl module!解决方法
linux·python·ubuntu·openssl
DIY机器人工房1 小时前
0.96寸OLED显示屏 江协科技学习笔记(36个知识点)
笔记·科技·stm32·单片机·嵌入式硬件·学习·江协科技
傻啦嘿哟2 小时前
Python 办公实战:用 python-docx 自动生成 Word 文档
开发语言·c#
翻滚吧键盘2 小时前
js代码09
开发语言·javascript·ecmascript
Jay Kay2 小时前
TensorFlow源码深度阅读指南
人工智能·python·tensorflow