pandas:读取各类文件方法以及爬虫时json数据保存

文件的读取与写入

| 常用读文件方法 | 说明 |

| -------------- | ---------------- |

| read_csv | 读取CSV文件 |

| read_excel | 读取Excel文件 |

| read_html | 读取网页HTML文件 |

| read_table | 通用读取方法 |

| 常用写文件方法 | 说明 |

| -------------- | ----------- |

| to_csv | 写csv文件 |

| to_excel | 写Excel文件 |

1、读取文件常用的参数

pandas.read_csv(

filepath_or_buffer=None,

sep=',',

delimiter=None,

header=None,

names=None,

index_col=None,

usecols=None,

skiprows=None,

na_values=None,

nrows=None,

chunksize=None,

encoding=None,

):

| 参数 | 说明 |

| ------------------ | ------------------------------------------------------------ |

| filepath_or_buffer | 读取文件的路径或对象 |

| sep/delimiter | 输出文件的字段分隔符, 默认字符"," |

| header | 默认为'infer',读取第一行作为列名,也可以为None,使用默认列索引 |

| names | 自定义列名/列索引 |

| index_col | 选择一列作为行索引,可以输入默认列索引 也可以使用自定义的列索引/列名 |

| usecols | 只读取选中的列 |

| skiprows | 跳过行读取 |

| na_values | 个性化数据,将指定的数据变为缺失值NaN |

| nrows | 数据按指定行显示 |

| chunksize | 数据按指定行进行分块 |

| encoding | 设置编码格式 |

注意事项:

1、一般情况下我们用utf-8的编码进行保存,如果出现中文编码错误,则可以依次换用gbk,gb2312,gb18030等, 一般总能成功的

2、写入文件参数

```

df.to_csv(

path_or_buf=None,

sep=',',

columns=None,

header=True,

index_lable=None,

index=True,

encoding=None,)

```

| 参数 | 说明 |

| ----------- | ---------------------------------- |

| path_or_buf | 写入文件的路径或对象 |

| sep | 输出文件的字段分隔符, 默认字符"," |

| columns | 空值写入后的顺序,也可选列写入 |

| header | 布尔值,默认为True,写入列名称(索引) |

| index_label | 选择列作为 行索引 |

| index | 布尔值,默认为True,写入行名称(索引) |

| encoding | 设置写入的编码格式 |

excel表格读取写入特点

所有的读取和写入方法的参数通用,唯独excel表格有几个不一样的点

1、写入excel文件需要依赖模块-openpyxl

```python
安装: pip install openpyxl
```

2、读取excel文件需要依赖模块-xlrd

```
安装: pip install xlrd

df.to_excel(

excel_writer,

sheet_name="Sheet1",

columns=None,

header=True,

index=True,

index_label=None,

encoding=None,

)

```

| 特有的参数 | 说明 |

| ------------ | ------------------- |

| excel_writer | ExcelWriter目标路径 |

| sheet_name | excel工作表名命名 |

  • read_excel

pandas.read_excel(

io,

sheet_name=0,

header=0,

names=None,

index_col=None,

usecols=None,

skiprows=None,

nrows=None,

na_values=None,

)

```

| 特有的参数 | 说明 |

| ---------- | ------------------------------------------------------------ |

| io | excel路径 |

| sheet_name | 默认为0,多工作表读取使用sheetname=0, 1,若sheetname=None是返回全表 |

当学习了读取和写入之后,就可以将爬虫的数据转为dataframe,使用dataframe写入的方式进行文件保存

相关推荐
学无止境小袁同学1 小时前
LlamaIndex Workflows 学习
python·llm·tensorflow·llamaindex·agent开发·多agent·workflows
鲸渔1 小时前
【AI Agent系列课程13-Python 基础13】JSON 读写:结构化数据交换基础
开发语言·python·json·ai编程
wuyk55512 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
高洁0112 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit12 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
yz_aiks14 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
2601_9679801116 小时前
Flask Web 应用
python·flask·web开发·环境变量·虚拟环境
aifannihao16 小时前
ß 大写变 SS:用 Python 算清 Ruby2Shell 的缓冲区账本
python·安全·标准库·缓冲区溢出·字符串编码
liwulin050616 小时前
【OLLAMA】调用SKILL的通用ReAct
python
郝学胜-神的一滴17 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn