python程序内存泄漏的解决方法

笔者在实际应用过程中,利用python解析交易数据,其中的方法是对文件夹进行遍历,然后根据里面的每个文件进行单独的解析,也就是用到了多层循环,结果导致内存占用越来越大,以至于最终内存满了而程序崩溃退出。

笔者查询了好多方法,包括直接使用gc进行内存回收, gc.collect()

但是还是不起作用。而很明显的一个现象就是程序人工中断退出之后,内存快速回收。

所以最终想了个办法就是使用python进行单独调用,具体方法如下:

如想查看详细代码,请详阅:python程序内存泄漏的解决方法 | 老五笔记

在上述代码中,每次使用os.system进行调用之后,都会自动进行内存资源的回收。

所以上面的解决办法也只能算是一种折中办法。

之前还看到一篇文章说的是利用 pympler进行查找内存泄漏的位置。但是因为笔者的程序调用了外部API,这个相对比较难查找,因此弃用。

相关推荐
知行合一。。。1 天前
Python--04--数据容器(总结)
开发语言·python
架构师老Y1 天前
008、容器化部署:Docker与Python应用打包
python·容器·架构
lifewange1 天前
pytest-类中测试方法、多文件批量执行
开发语言·python·pytest
pluvium271 天前
记对 xonsh shell 的使用, 脚本编写, 迁移及调优
linux·python·shell·xonsh
2401_827499991 天前
python项目实战09-AI智能伴侣(ai_partner_5-6)
开发语言·python
PD我是你的真爱粉1 天前
MCP 协议详解:从架构、工作流到 Python 技术栈落地
开发语言·python·架构
ZhengEnCi1 天前
P2G-Python字符串方法完全指南-split、join、strip、replace的Python编程利器
python
是小蟹呀^1 天前
【总结】LangChain中工具的使用
python·langchain·agent·tool
宝贝儿好1 天前
【LLM】第二章:文本表示:词袋模型、小案例:基于文本的推荐系统(酒店推荐)
人工智能·python·深度学习·神经网络·自然语言处理·机器人·语音识别
王夏奇1 天前
pythonUI界面弹窗设置的几种办法
python·ui