使用 python multiprocessing.Queue 出现 too many open files 错误

问题描述

使用 python 子进程multiprocessing.Process执行任务,并使用multiprocessing.Queue回传任务执行结果。程序执行时间长以后,出现 Too many open files 错误。使用 lsof -p 进程号 能看到有很多未关闭的 pipe。后经排查发现大概率是 multiprocessing.Queue的问题,为了验证想法,写了一个测试脚本

python 复制代码
#!/usr/bin/env python
# -*- coding-utf8 -*-
"""
:Copyright: 2023, XXX
:Software python_cook_book
:File Name: queue_test.py
:Author wind
:Date 2023/9/5 11:52
:Version: v.1.0
:Description:
"""
import os
import time
from multiprocessing import Process, Queue


def start_sub_process(q, index):
    print(f'get a queue, index is: {index}')
    time.sleep(10)
    print('sleep finished')
    if q:
        q.put(f'hello {index}')


def execute():

    queues = []

    for i in range(10):
        q = None
        if i % 3 == 0:
            q = Queue()
        p = Process(target=start_sub_process, args=(q, i))
        p.start()
        queues.append((p, q))
        
    print('start sub process ok')

    for p, q in queues:
        msg = q.get() if q else ''
        print(f'q get ret is: {msg}')
        while p.is_alive():
            print('process is alive') 
            time.sleep(1)

        p.close()
        del p
        if q:
            # q._writer.close()
            q.close()
        time.sleep(20)
        print(f'close queue finished')

    while True:
        time.sleep(3)
        print('sleep')


if __name__ == '__main__':
    execute()

测试程序启动后,找到进程号,然后使用 lsof -p 进程号 | grep pipe | wc -l 查看遗漏的文件描述符的数量。这时出现了令人困惑的事情,在不同的linux发行版和同一个发行版不同的版本上,程序的遗漏文件描述符的数量不一样。而且有的能全部回收,有的只能部分回收。

问题处理

针对这种情况,最直接的当然是想办法让描述符能回收,如果确实不行,就只能将子进程放在进程池中进行管理再配备对应的通信队列,限制住进程队列的数量。

在网上找了一圈,最后找到一个比较靠谱的方案 python issue 即在回收队列时,调用 q._writer.close() ,上面脚本已经写上这行代码。但这个方案在有些系统下执行仍然会有文件描述符泄露的问题,并且用del queue gc.coolect()都没法解决,碰到这种没法直接用代码处理的最好是换处理方式,用进程池,并控制队列的使用数量

相关推荐
在爪洼山玩泥巴38 分钟前
fastjson2 JSONPath 取不存在路径,为什么会抛 “not support”?
java·开发语言·jsonpath·fastjson
qq_158895411114 小时前
Suno-API 是什么?官方 V6 模型与 Python / TypeScript 接入指南
python·ai音乐·suno api
星落梦生10 小时前
SpringAOP基础笔记(7)
java·开发语言
曹牧13 小时前
Java:“刷新雪崩”
java·开发语言
郝学胜-神的一滴13 小时前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
西西弗Sisyphus14 小时前
C++ explicit 关键字工程实践
开发语言·c++
学无止境小袁同学15 小时前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
郝学胜-神的一滴15 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
feixing_fx16 小时前
原始类型与引用类型:赋值时到底复制了什么
开发语言·前端·javascript·前端框架
LK_0716 小时前
【力扣】142. 环形链表 II |Python
python·leetcode·链表