python追加合并excel效率记录

第一种合并方法:
在sheet的第一行,追加新表concat旧表

read_excel读取旧表全部

to_excel新表追加写入旧表

需要的时间:

第二种合并方法:
在sheet的最后一行,直接追加新表

load_book只读用来获取旧表sheet行数

read_excel读取旧表表头(因为新表表头可能会改变,需要re_index对齐旧表)

to_excel新表追加写入旧表

需要的时间:

读取新表没有计时

新表10r

旧表7000+r
总结:之前小样本数据一直用第二种,样本量上来之后就开始慢了。这样看还是第二种方法好,主要是读取和写入的时间都少了,文件(旧表)打开关闭的时间没有变。打开的时候没有使用with语句上下文管理,不知道改一下io操作的效率会不会有变化,目前看打开和关闭文件都挺费时间的。另外,好像有帖子写过xlsxwriter的效率会更快,没有实践过,不想整了。


更:后面试了一下with语句,效率没什么变化

相关推荐
福大大架构师每日一题34 分钟前
ComfyUI v0.11.1正式发布:新增开发者专属节点支持、API节点强化、Python 3.14兼容性更新等全方位优化!
开发语言·python
淮北4942 小时前
pip虚拟环境包的问题
开发语言·python·pip
m0_706653233 小时前
用Python批量处理Excel和CSV文件
jvm·数据库·python
Yvonne爱编码3 小时前
JAVA数据结构 DAY5-LinkedList
java·开发语言·python
witAI3 小时前
**AI漫剧制作工具2025推荐,零成本实现专业级动画创作*
人工智能·python
qq_423233904 小时前
Python深度学习入门:TensorFlow 2.0/Keras实战
jvm·数据库·python
林深现海4 小时前
【刘二大人】PyTorch深度学习实践笔记 —— 第四集:反向传播(凝练版)
pytorch·python·numpy
菩提树下的凡夫5 小时前
Python 环境管理工具
开发语言·python
索荣荣5 小时前
JavaToken实战指南:从原理到应用
开发语言·python
Albert Edison5 小时前
【Python】函数
java·linux·python·pip