python程序内存泄漏的解决方法

笔者在实际应用过程中,利用python解析交易数据,其中的方法是对文件夹进行遍历,然后根据里面的每个文件进行单独的解析,也就是用到了多层循环,结果导致内存占用越来越大,以至于最终内存满了而程序崩溃退出。

笔者查询了好多方法,包括直接使用gc进行内存回收, gc.collect()

但是还是不起作用。而很明显的一个现象就是程序人工中断退出之后,内存快速回收。

所以最终想了个办法就是使用python进行单独调用,具体方法如下:

如想查看详细代码,请详阅:python程序内存泄漏的解决方法 | 老五笔记

在上述代码中,每次使用os.system进行调用之后,都会自动进行内存资源的回收。

所以上面的解决办法也只能算是一种折中办法。

之前还看到一篇文章说的是利用 pympler进行查找内存泄漏的位置。但是因为笔者的程序调用了外部API,这个相对比较难查找,因此弃用。

相关推荐
爱打球的白师傅28 分钟前
python机器学习工程化demo(包含训练模型,预测数据,模型列表,模型详情,删除模型)支持线性回归、逻辑回归、决策树、SVC、随机森林等模型
人工智能·python·深度学习·机器学习·flask·逻辑回归·线性回归
MediaTea1 小时前
Python 第三方库:TensorFlow(深度学习框架)
开发语言·人工智能·python·深度学习·tensorflow
Joker-Tong1 小时前
大模型数据洞察能力方法调研
人工智能·python·agent
B站计算机毕业设计之家1 小时前
基于Python+Django+双协同过滤豆瓣电影推荐系统 协同过滤推荐算法 爬虫 大数据毕业设计(源码+文档)✅
大数据·爬虫·python·机器学习·数据分析·django·推荐算法
逻极2 小时前
Webhook 全解析:事件驱动时代的实时集成核心技术
python·web
程序员三藏2 小时前
一文了解UI自动化测试
自动化测试·软件测试·python·selenium·测试工具·职场和发展·测试用例
极客代码2 小时前
第七篇:深度学习SLAM——端到端的革命--从深度特征到神经辐射场的建图新范式
人工智能·python·深度学习·计算机视觉·slam·回环检测·地图构建
larance2 小时前
python中的鸭子类型
开发语言·python
陈辛chenxin2 小时前
【大数据技术04】数据可视化
大数据·python·信息可视化
大邳草民3 小时前
深入理解 Python 的属性化方法
开发语言·笔记·python