python程序内存泄漏的解决方法

笔者在实际应用过程中,利用python解析交易数据,其中的方法是对文件夹进行遍历,然后根据里面的每个文件进行单独的解析,也就是用到了多层循环,结果导致内存占用越来越大,以至于最终内存满了而程序崩溃退出。

笔者查询了好多方法,包括直接使用gc进行内存回收, gc.collect()

但是还是不起作用。而很明显的一个现象就是程序人工中断退出之后,内存快速回收。

所以最终想了个办法就是使用python进行单独调用,具体方法如下:

如想查看详细代码,请详阅:python程序内存泄漏的解决方法 | 老五笔记

在上述代码中,每次使用os.system进行调用之后,都会自动进行内存资源的回收。

所以上面的解决办法也只能算是一种折中办法。

之前还看到一篇文章说的是利用 pympler进行查找内存泄漏的位置。但是因为笔者的程序调用了外部API,这个相对比较难查找,因此弃用。

相关推荐
写代码的【黑咖啡】1 小时前
Python中的JSON处理(标准库)
开发语言·python·json
梨子串桃子_8 小时前
推荐系统学习笔记 | PyTorch学习笔记
pytorch·笔记·python·学习·算法
文言一心9 小时前
LINUX离线升级 Python 至 3.11.9 操作手册
linux·运维·python
诗词在线10 小时前
中国古代诗词名句按主题分类有哪些?(爱国 / 思乡 / 送别)
人工智能·python·分类·数据挖掘
高锰酸钾_10 小时前
机器学习-L1正则化和L2正则化解决过拟合问题
人工智能·python·机器学习
天天睡大觉10 小时前
Python学习11
网络·python·学习
智航GIS10 小时前
11.11 Pandas性能革命:向量化操作与内存优化实战指南
python·pandas
写代码的【黑咖啡】11 小时前
Python中的Selenium:强大的浏览器自动化工具
python·selenium·自动化
抠头专注python环境配置11 小时前
解决Windows安装PythonOCC报错:从“No module named ‘OCC’ ”到一键成功
人工智能·windows·python·3d·cad·pythonocc