pandas文件读取与存储

一、CSV文件

1. 读取csv文件,获取数据

python 复制代码
pd.read_csv('路径', sep='分隔符', usecols=[ '列名1', '列名2', ...] )

2. 把读取到的数据写到文件中

python 复制代码
df.to_csv('路径.csv', sep=',', index=False ) # 默认为True,会带上索引保存

3. 特殊的csv文件-->tsv文件

区别:csv文件以 ',' 做分隔;tsv文件以 tab键 做分隔

pd.read_csv('路径.tsv', sep='\t', index_col=0) # 第0列设置为索引列

df.to_csv('路径.tsv', sep='\t', index=True ) # 默认为True,会带上索引保存

二、MySQL数据库

1.导包

python 复制代码
from sqlalchemy import create_engine

2.读取要写入sql数据库的数据

python 复制代码
data = pd.read_csv('路径', encoding='gbk', index_col=0)

3. 创建引擎对象

python 复制代码
engine = create_engine('数据库+模块名://数据库的用户名:密码@主机名:端口号/数据库名?编码方式')

4. 将数据写入sql数据库

参1:数据表名 参2:引擎对象 参3:是否把索引写进数据库 参4:数据表存在如何处理

append是在表后追加写 replace是覆盖原表

python 复制代码
data.to_sql('表名', engine, index=False, if exists='append')

5. 从sql中读取数据

参1:书就表名或sql语句 参2:引擎对象

python 复制代码
sql_df = pd.read_sql('表名', engine)

sql_df = pd.read_sql('select * from 表名', engine)  # 里面也可以写sql语句

三、json文件

1. 读取json文件

参1:文件路径 参2:读取形式:records、columns(默认格式)、index 参3:是否按行读取

python 复制代码
json_df = pd.read_json('文件路径', orient='读取形式', lines=True)

2. 把数据写入json文件中

json_df.to_json('文件路径', orinet='records') # 结果为:{}, {}, {},...

json_df.to_json('文件路径', orinet='records', lines=True) # 结果为:{}, {}, {},...常用

json_df.to_json('文件路径', orinet='index') # 结果为:index:{...}

json_df.to_json('文件路径', orinet='columns', lines=True) # 结果为:columns:{...}

相关推荐
高级程序源1 分钟前
springboot荆州旅游推介平台24175-计算机课程设计、毕业设计
vue.js·spring boot·python·mysql·django·课程设计
企业数字化笔记4 分钟前
新租户注册成功却不能用?开通状态、初始化恢复与可用性验收
开发语言·python
Guarding and trust5 分钟前
项目拆解(二):模型输出是‘野‘的——三层兜底+重分析,把AI变成可靠零件
java·人工智能·python·大模型·fastapi·ollama·错误兜底
瑶山7 分钟前
Windows + WSL2 Ubuntu + VS Code配置C++开发环境
开发语言·c++·windows·vscode·wsl
用户298698530147 分钟前
Python 实战:将 HTML 内容保存为图像文件
后端·python·html
for_ever_love__9 分钟前
LangChain MultiVectorRetriever:一个文档存多个向量
人工智能·python·自然语言处理·langchain·ai大模型·多向量·摘要检索
迅猛龙办公室14 分钟前
Python实现获取星期字符串
java·前端·python
Vertira16 分钟前
C# 函数封装成 DLL,
开发语言·c#
开开心心就好20 分钟前
一元二次方程求解工具,答案带详细步骤
java·服务器·开发语言·算法·pdf·ocr·perl
cc57250265321 分钟前
2027校招:大数据管理与应用专业做数据治理,技术之外还要准备什么?
java·开发语言