python追加合并excel效率记录

第一种合并方法:
在sheet的第一行,追加新表concat旧表

read_excel读取旧表全部

to_excel新表追加写入旧表

需要的时间:

第二种合并方法:
在sheet的最后一行,直接追加新表

load_book只读用来获取旧表sheet行数

read_excel读取旧表表头(因为新表表头可能会改变,需要re_index对齐旧表)

to_excel新表追加写入旧表

需要的时间:

读取新表没有计时

新表10r

旧表7000+r
总结:之前小样本数据一直用第二种,样本量上来之后就开始慢了。这样看还是第二种方法好,主要是读取和写入的时间都少了,文件(旧表)打开关闭的时间没有变。打开的时候没有使用with语句上下文管理,不知道改一下io操作的效率会不会有变化,目前看打开和关闭文件都挺费时间的。另外,好像有帖子写过xlsxwriter的效率会更快,没有实践过,不想整了。


更:后面试了一下with语句,效率没什么变化

相关推荐
知乎的哥廷根数学学派28 分钟前
基于生成对抗U-Net混合架构的隧道衬砌缺陷地质雷达数据智能反演与成像方法(以模拟信号为例,Pytorch)
开发语言·人工智能·pytorch·python·深度学习·机器学习
hhzz39 分钟前
Springboot项目中使用POI操作Excel(详细教程系列3/3)
spring boot·后端·excel·poi·easypoi
WangYaolove13141 小时前
Python基于大数据的电影市场预测分析(源码+文档)
python·django·毕业设计·源码
知乎的哥廷根数学学派1 小时前
基于自适应多尺度小波核编码与注意力增强的脉冲神经网络机械故障诊断(Pytorch)
人工智能·pytorch·python·深度学习·神经网络·机器学习
cnxy1882 小时前
Python爬虫进阶:反爬虫策略与Selenium自动化完整指南
爬虫·python·selenium
用户8356290780513 小时前
Python 实现 Excel 条件格式自动化
后端·python
深蓝电商API4 小时前
Scrapy管道Pipeline深度解析:多方式数据持久化
爬虫·python·scrapy
噎住佩奇4 小时前
(Win11系统)搭建Python爬虫环境
爬虫·python
basketball6164 小时前
python 的对象序列化
开发语言·python
rgeshfgreh4 小时前
Python流程控制:从条件到循环实战
前端·数据库·python