python追加合并excel效率记录

第一种合并方法:
在sheet的第一行,追加新表concat旧表

read_excel读取旧表全部

to_excel新表追加写入旧表

需要的时间:

第二种合并方法:
在sheet的最后一行,直接追加新表

load_book只读用来获取旧表sheet行数

read_excel读取旧表表头(因为新表表头可能会改变,需要re_index对齐旧表)

to_excel新表追加写入旧表

需要的时间:

读取新表没有计时

新表10r

旧表7000+r
总结:之前小样本数据一直用第二种,样本量上来之后就开始慢了。这样看还是第二种方法好,主要是读取和写入的时间都少了,文件(旧表)打开关闭的时间没有变。打开的时候没有使用with语句上下文管理,不知道改一下io操作的效率会不会有变化,目前看打开和关闭文件都挺费时间的。另外,好像有帖子写过xlsxwriter的效率会更快,没有实践过,不想整了。


更:后面试了一下with语句,效率没什么变化

相关推荐
啊哈哈哈哈哈啊哈哈31 分钟前
G9打卡——ACGAN
python·生成对抗网络·gan
ALLSectorSorft33 分钟前
相亲小程序用户注册与登录系统模块搭建
java·大数据·服务器·数据库·python
caisexi2 小时前
Windows批量启动java服务bat脚本
java·windows·python
斜月2 小时前
Python Asyncio以及Futures并发编程实践
后端·python
_oP_i2 小时前
移除 Excel 文件(.xlsx)的工作表保护
excel
No0d1es2 小时前
第15届蓝桥杯Pthon青少组_国赛_中/高级组_2024年9月7日真题
python·青少年编程·蓝桥杯·国赛·中高组
talented_pure3 小时前
Python打卡Day30 模块和库的导入
开发语言·python
大虫小呓3 小时前
Python So Easy 大虫小呓三部曲 - 高阶篇
python
王大傻09283 小时前
python匿名函数lambda
python
Ashlee_code4 小时前
关税战火中的技术方舟:新西兰证券交易所的破局之道 ——从15%关税冲击到跨塔斯曼结算联盟,解码下一代交易基础设施
java·python·算法·金融·架构·系统架构·区块链