pandas文件读取与存储

一、CSV文件

1. 读取csv文件,获取数据

python 复制代码
pd.read_csv('路径', sep='分隔符', usecols=[ '列名1', '列名2', ...] )

2. 把读取到的数据写到文件中

python 复制代码
df.to_csv('路径.csv', sep=',', index=False ) # 默认为True,会带上索引保存

3. 特殊的csv文件-->tsv文件

区别:csv文件以 ',' 做分隔;tsv文件以 tab键 做分隔

pd.read_csv('路径.tsv', sep='\t', index_col=0) # 第0列设置为索引列

df.to_csv('路径.tsv', sep='\t', index=True ) # 默认为True,会带上索引保存

二、MySQL数据库

1.导包

python 复制代码
from sqlalchemy import create_engine

2.读取要写入sql数据库的数据

python 复制代码
data = pd.read_csv('路径', encoding='gbk', index_col=0)

3. 创建引擎对象

python 复制代码
engine = create_engine('数据库+模块名://数据库的用户名:密码@主机名:端口号/数据库名?编码方式')

4. 将数据写入sql数据库

参1:数据表名 参2:引擎对象 参3:是否把索引写进数据库 参4:数据表存在如何处理

append是在表后追加写 replace是覆盖原表

python 复制代码
data.to_sql('表名', engine, index=False, if exists='append')

5. 从sql中读取数据

参1:书就表名或sql语句 参2:引擎对象

python 复制代码
sql_df = pd.read_sql('表名', engine)

sql_df = pd.read_sql('select * from 表名', engine)  # 里面也可以写sql语句

三、json文件

1. 读取json文件

参1:文件路径 参2:读取形式:records、columns(默认格式)、index 参3:是否按行读取

python 复制代码
json_df = pd.read_json('文件路径', orient='读取形式', lines=True)

2. 把数据写入json文件中

json_df.to_json('文件路径', orinet='records') # 结果为:{}, {}, {},...

json_df.to_json('文件路径', orinet='records', lines=True) # 结果为:{}, {}, {},...常用

json_df.to_json('文件路径', orinet='index') # 结果为:index:{...}

json_df.to_json('文件路径', orinet='columns', lines=True) # 结果为:columns:{...}

相关推荐
IvanCodes1 小时前
Python 数据处理(十三):JSON、CSV 与数据序列化
开发语言·python
Patrick在香港2 小时前
Claude 工具调用返回空:8 次失败里只有 1 次状态码不对,其余全带 200
爬虫·python·api·claude·香港
Web3&Basketball3 小时前
CRM Agent 后训练实战:3 倍更少错误
python·架构·大模型·agent·推理
aramae3 小时前
MySQL复合查询(8)
java·c语言·开发语言·后端·算法
AIFQuant4 小时前
ETF行情API接入踩坑记:从报错到跑通的七个问题
python·金融·区块链·etf·基金
GPU实战笔记5 小时前
云端 Python 开发:JupyterLab 还是 VS Code Remote-SSH?
python·vs code·jupyterlab·remote-ssh·远程开发
狗狗狗狗狗乐啊5 小时前
搭一个 AI 对话工作台 AChat:从 0 到可用的完整记录(一)
python·react.js·ai编程
qq_2518364575 小时前
springboot vue3 开发实现 拼豆管理系统
java·开发语言·ai编程
白猫不黑6 小时前
Python实现简易Web弱口令爆破与防护方案
python·web安全·计算机·网络安全·黑客·信息安全·渗透测试
郑州光合科技余经理6 小时前
同城外卖小程序开发:下单成功后,后台导出能不能对上用户端状态
开发语言·前端·git·后端·uni-app·php·ai编程