python追加合并excel效率记录

第一种合并方法:
在sheet的第一行,追加新表concat旧表

read_excel读取旧表全部

to_excel新表追加写入旧表

需要的时间:

第二种合并方法:
在sheet的最后一行,直接追加新表

load_book只读用来获取旧表sheet行数

read_excel读取旧表表头(因为新表表头可能会改变,需要re_index对齐旧表)

to_excel新表追加写入旧表

需要的时间:

读取新表没有计时

新表10r

旧表7000+r
总结:之前小样本数据一直用第二种,样本量上来之后就开始慢了。这样看还是第二种方法好,主要是读取和写入的时间都少了,文件(旧表)打开关闭的时间没有变。打开的时候没有使用with语句上下文管理,不知道改一下io操作的效率会不会有变化,目前看打开和关闭文件都挺费时间的。另外,好像有帖子写过xlsxwriter的效率会更快,没有实践过,不想整了。


更:后面试了一下with语句,效率没什么变化

相关推荐
echome8883 分钟前
Python 异步编程实战:asyncio 核心概念与最佳实践
开发语言·网络·python
yunyun321238 分钟前
自动化与脚本
jvm·数据库·python
暮冬-  Gentle°9 分钟前
使用PyTorch构建你的第一个神经网络
jvm·数据库·python
setmoon2149 分钟前
构建一个基于命令行的待办事项应用
jvm·数据库·python
研究点啥好呢19 分钟前
3月22日GitHub热门项目推荐|网页浏览,何须手动
人工智能·python·开源·github
三块可乐两块冰23 分钟前
【机器学习笔记三十二】机器学习三十二
python
love530love32 分钟前
ComfyUI-3D-Pack:Windows 下手动编译 mesh_inpaint_processor C++ 加速模块
c++·人工智能·windows·python·3d·hunyuan3d·comfyui-3d-pack
vx_biyesheji000142 分钟前
计算机毕业设计:Python多源新闻数据智能舆情挖掘平台 Flask框架 爬虫 SnowNLP ARIMA 可视化 数据分析 大数据(建议收藏)✅
爬虫·python·机器学习·数据分析·django·flask·课程设计
m0_5879589544 分钟前
机器学习与人工智能
jvm·数据库·python
2501_908329851 小时前
Python入门:从零到一的第一个程序
jvm·数据库·python