Python多进程间使用共享内存会提前释放的问题

问题参考

bugs.python.org/issue38119

问题描述

该问题仅在Unix系统下出现,初步验证可能是和 fork 的进程启动方式有关。

Python 需要通过使用多进程来实现并发,多进程间进行数据交互时共享内存可以节省很多资源,提升数据传输效率。

但如果进程间不是父子进程或有继承关系,那么在通过共享内存传输数据时通常会遇到这种情景:

A进程创建了共享内存块,存入数据后将内存块的 shared_name 传递给B进程,B进程在取出内存中的数据后释放该内存块。C 进程再想获得内存块中的数据但内存块已经被释放。

python 复制代码
from multiprocessing import Pool, shared_memory
import time
import cv2
import numpy as np


def func(sm_name, sha):
    shm = shared_memory.SharedMemory(name=sm_name)
    img = np.nrdarray(sha, np.uint8, shm.buf)

    import time
    cv2.imwrite(str(time.time()) + ".jpg", img)


if __name__ == "__main__":
    p = Pool(2)
    a = cv2.imread("1.jpg")
    shape = a.shape
    s = int(np.prod(shape) * np.dtype(np.uint8).itemsize)
  
    sm = shared_memory.SharedMemory(name="test", create=True, size=s)
    smb = np.ndarray(shape, np.uint8, sm.buf)
    smb[:] = a
    for i in range(10):
        p.starmap(func, [("test", shape), ])
    p.close()
    p.join()
    sm.close()
    sm.unlink()

上述代码在 Windows 下可以运行,在 Unix 系统中在执行完子进程后会立即将共享内存释放,并报出以下警告

该警告会出现多次。个人推测是该警告提醒共享内存在进程池里的进程中没有被释放,shared_memory 模块中追踪该内存块的部分报出了该警告,进程池中的内存退出时在为了防止出现内存泄漏的问题强制释放了该内存块。

个人认为该问题并不合理,共享内存本应方便进程间通信,在 A 进程中创建内存块然后, B进程获取并使用,B进程在退出时并不应该释放,C 进程还想继续使用该内存块。

解决办法

python 复制代码
from multiprocessing import Process, resource_tracker
from multiprocessing.shared_memory import SharedMemory


def remove_shm_from_resource_tracker():
    """Monkey-patch multiprocessing.resource_tracker so SharedMemory won't be tracked

    More details at: https://bugs.python.org/issue38119
    """

    def fix_register(name, rtype):
        if rtype == "shared_memory":
            return
        return resource_tracker._resource_tracker.register(self, name, rtype)
    resource_tracker.register = fix_register

    def fix_unregister(name, rtype):
        if rtype == "shared_memory":
            return
        return resource_tracker._resource_tracker.unregister(self, name, rtype)
    resource_tracker.unregister = fix_unregister

    if "shared_memory" in resource_tracker._CLEANUP_FUNCS:
        del resource_tracker._CLEANUP_FUNCS["shared_memory"]

以上函数来自于文档参考,能够通过 resource_tracker.py 解除进程对共享内存块的绑定,防止进程退出后释放共享内存块,只需在使用共享内存前调用 remove_shm_from_resource_tracker() 函数,就可以防止内存块提前被释放。

PS:该函数在使用时至少要有一个进程不调用该函数,否则会导致创建的内存块不被释放,造成内存泄漏的风险!!!!!!!!!!!!

相关推荐
小赖同学啊2 小时前
物联网数据安全区块链服务
开发语言·python·区块链
码荼2 小时前
学习开发之hashmap
java·python·学习·哈希算法·个人开发·小白学开发·不花钱不花时间crud
小陈phd3 小时前
李宏毅机器学习笔记——梯度下降法
人工智能·python·机器学习
kk爱闹3 小时前
【挑战14天学完python和pytorch】- day01
android·pytorch·python
Blossom.1184 小时前
机器学习在智能建筑中的应用:能源管理与环境优化
人工智能·python·深度学习·神经网络·机器学习·机器人·sklearn
亚力山大抵4 小时前
实验六-使用PyMySQL数据存储的Flask登录系统-实验七-集成Flask-SocketIO的实时通信系统
后端·python·flask
showyoui4 小时前
Python 闭包(Closure)实战总结
开发语言·python
amazinging5 小时前
北京-4年功能测试2年空窗-报培训班学测开-第四十一天
python·学习·appium
amazinging5 小时前
北京-4年功能测试2年空窗-报培训班学测开-第三十九天
python·学习·appium
m0_723140235 小时前
Python训练营-Day42
python