问题参考

bugs.python.org/issue38119

问题描述

该问题仅在Unix系统下出现，初步验证可能是和 fork 的进程启动方式有关。

Python 需要通过使用多进程来实现并发，多进程间进行数据交互时共享内存可以节省很多资源，提升数据传输效率。

但如果进程间不是父子进程或有继承关系，那么在通过共享内存传输数据时通常会遇到这种情景：

A进程创建了共享内存块，存入数据后将内存块的 shared_name 传递给B进程，B进程在取出内存中的数据后释放该内存块。C 进程再想获得内存块中的数据但内存块已经被释放。

python 复制代码

from multiprocessing import Pool, shared_memory
import time
import cv2
import numpy as np


def func(sm_name, sha):
    shm = shared_memory.SharedMemory(name=sm_name)
    img = np.nrdarray(sha, np.uint8, shm.buf)

    import time
    cv2.imwrite(str(time.time()) + ".jpg", img)


if __name__ == "__main__":
    p = Pool(2)
    a = cv2.imread("1.jpg")
    shape = a.shape
    s = int(np.prod(shape) * np.dtype(np.uint8).itemsize)
  
    sm = shared_memory.SharedMemory(name="test", create=True, size=s)
    smb = np.ndarray(shape, np.uint8, sm.buf)
    smb[:] = a
    for i in range(10):
        p.starmap(func, [("test", shape), ])
    p.close()
    p.join()
    sm.close()
    sm.unlink()

上述代码在 Windows 下可以运行，在 Unix 系统中在执行完子进程后会立即将共享内存释放，并报出以下警告

该警告会出现多次。个人推测是该警告提醒共享内存在进程池里的进程中没有被释放，shared_memory 模块中追踪该内存块的部分报出了该警告，进程池中的内存退出时在为了防止出现内存泄漏的问题强制释放了该内存块。

个人认为该问题并不合理，共享内存本应方便进程间通信，在 A 进程中创建内存块然后， B进程获取并使用，B进程在退出时并不应该释放，C 进程还想继续使用该内存块。

解决办法

python 复制代码

from multiprocessing import Process, resource_tracker
from multiprocessing.shared_memory import SharedMemory


def remove_shm_from_resource_tracker():
    """Monkey-patch multiprocessing.resource_tracker so SharedMemory won't be tracked

    More details at: https://bugs.python.org/issue38119
    """

    def fix_register(name, rtype):
        if rtype == "shared_memory":
            return
        return resource_tracker._resource_tracker.register(self, name, rtype)
    resource_tracker.register = fix_register

    def fix_unregister(name, rtype):
        if rtype == "shared_memory":
            return
        return resource_tracker._resource_tracker.unregister(self, name, rtype)
    resource_tracker.unregister = fix_unregister

    if "shared_memory" in resource_tracker._CLEANUP_FUNCS:
        del resource_tracker._CLEANUP_FUNCS["shared_memory"]

以上函数来自于文档参考，能够通过 resource_tracker.py 解除进程对共享内存块的绑定，防止进程退出后释放共享内存块，只需在使用共享内存前调用 remove_shm_from_resource_tracker() 函数，就可以防止内存块提前被释放。

PS:该函数在使用时至少要有一个进程不调用该函数，否则会导致创建的内存块不被释放，造成内存泄漏的风险！！！！！！！！！！！！

Python多进程间使用共享内存会提前释放的问题

问题参考

问题描述

解决办法