python追加合并excel效率记录

第一种合并方法:
在sheet的第一行,追加新表concat旧表

read_excel读取旧表全部

to_excel新表追加写入旧表

需要的时间:

第二种合并方法:
在sheet的最后一行,直接追加新表

load_book只读用来获取旧表sheet行数

read_excel读取旧表表头(因为新表表头可能会改变,需要re_index对齐旧表)

to_excel新表追加写入旧表

需要的时间:

读取新表没有计时

新表10r

旧表7000+r
总结:之前小样本数据一直用第二种,样本量上来之后就开始慢了。这样看还是第二种方法好,主要是读取和写入的时间都少了,文件(旧表)打开关闭的时间没有变。打开的时候没有使用with语句上下文管理,不知道改一下io操作的效率会不会有变化,目前看打开和关闭文件都挺费时间的。另外,好像有帖子写过xlsxwriter的效率会更快,没有实践过,不想整了。


更:后面试了一下with语句,效率没什么变化

相关推荐
GEO_ai_zhijian9 小时前
饮料生产线质量检测系统供应商哪家强
大数据·python
得闲喝茶10 小时前
跨表数据匹配——VLOOKUP、XLOOKUP
大数据·数据库·笔记·信息可视化·数据分析·excel
量化吞吐机10 小时前
近期量化工具怎么选,先看规则流程能否承接
人工智能·python
一世繁华行10 小时前
Python帧对象
python
三川69811 小时前
Tkinter库的学习记录08- 容器控件
python
c_lb728811 小时前
近期AI量化工具选择,学习开发执行要分开
人工智能·python
天天进步201511 小时前
Python全栈项目--校园食堂点餐与推荐系统
开发语言·python
Ulyanov11 小时前
雷达导引头体制演进、技术特点与数学模型
python·雷达电子对抗·导引头
eybk11 小时前
写一个可以编制pdf文件的python程序
开发语言·python·pdf
卷无止境11 小时前
从Python的cryptography库出发,从零开始理解密码学,到构建零信任网络
后端·python