python程序内存泄漏的解决方法

笔者在实际应用过程中,利用python解析交易数据,其中的方法是对文件夹进行遍历,然后根据里面的每个文件进行单独的解析,也就是用到了多层循环,结果导致内存占用越来越大,以至于最终内存满了而程序崩溃退出。

笔者查询了好多方法,包括直接使用gc进行内存回收, gc.collect()

但是还是不起作用。而很明显的一个现象就是程序人工中断退出之后,内存快速回收。

所以最终想了个办法就是使用python进行单独调用,具体方法如下:

如想查看详细代码,请详阅:python程序内存泄漏的解决方法 | 老五笔记

在上述代码中,每次使用os.system进行调用之后,都会自动进行内存资源的回收。

所以上面的解决办法也只能算是一种折中办法。

之前还看到一篇文章说的是利用 pympler进行查找内存泄漏的位置。但是因为笔者的程序调用了外部API,这个相对比较难查找,因此弃用。

相关推荐
2301_812539671 小时前
Golang怎么实现网页爬虫抓取数据_Golang如何用colly框架快速构建爬虫采集程序【教程】
jvm·数据库·python
xcbrand1 小时前
政府事业机构品牌策划公司哪家可靠
大数据·人工智能·python
爱滑雪的码农2 小时前
Java基础十一 流(Stream)、文件(File)和IO
java·开发语言·python
knight_9___2 小时前
LLM工具调用面试篇5
人工智能·python·深度学习·面试·职场和发展·llm·agent
小学生-山海3 小时前
YOLO火焰/烟雾检测系统
python·yolo
浔川python社3 小时前
浔川社团第一次福利数据公布
人工智能·python·deepseek
方也_arkling3 小时前
【大模型】初步认识RAG
人工智能·python
迁旭3 小时前
prompt_toolkit 3.0.52 API 参考手册
python
WL_Aurora3 小时前
Python 算法基础篇之堆和优先队列
python·算法
早日退休!!!3 小时前
PyTorch适配NPU
人工智能·pytorch·python