python追加合并excel效率记录

第一种合并方法:
在sheet的第一行,追加新表concat旧表

read_excel读取旧表全部

to_excel新表追加写入旧表

需要的时间:

第二种合并方法:
在sheet的最后一行,直接追加新表

load_book只读用来获取旧表sheet行数

read_excel读取旧表表头(因为新表表头可能会改变,需要re_index对齐旧表)

to_excel新表追加写入旧表

需要的时间:

读取新表没有计时

新表10r

旧表7000+r
总结:之前小样本数据一直用第二种,样本量上来之后就开始慢了。这样看还是第二种方法好,主要是读取和写入的时间都少了,文件(旧表)打开关闭的时间没有变。打开的时候没有使用with语句上下文管理,不知道改一下io操作的效率会不会有变化,目前看打开和关闭文件都挺费时间的。另外,好像有帖子写过xlsxwriter的效率会更快,没有实践过,不想整了。


更:后面试了一下with语句,效率没什么变化

相关推荐
2301_7644413323 分钟前
身份证校验工具
前端·python·1024程序员节
小宁爱Python1 小时前
从入门到实践:LangGraph 构建复杂 AI 工作流的完整指南
人工智能·python·microsoft·django
百锦再1 小时前
Python、Java与Go:AI大模型时代的语言抉择
java·前端·vue.js·人工智能·python·go·1024程序员节
腾蛇月猫2 小时前
Excel转VCF文件一键导入通讯录联系人信息
javascript·excel·vcf
程序员黄同学2 小时前
解释 Python 中的属性查找顺序(Attribute Lookup Order)
开发语言·python
黄思搏3 小时前
Python + ADB 手机自动化控制教程
python·adb
学习3人组3 小时前
Python + requests + pytest + allure + Jenkins 构建完整的接口自动化测试框架
python·jenkins·pytest
AndrewHZ4 小时前
【图像处理基石】图像形态学处理:从基础运算到工业级应用实践
图像处理·python·opencv·算法·计算机视觉·cv·形态学处理
B站_计算机毕业设计之家4 小时前
基于大数据的游戏数据可视化分析与推荐系统 Steam游戏 电子游戏 娱乐数据 Flask框架 selenium爬虫 协同过滤推荐算法 python✅
大数据·python·深度学习·游戏·信息可视化·1024程序员节·steam