介绍一下 multiprocessing 的 Manager模块

在 Python 的 multiprocessing 模块中,Manager 是一个用于跨进程共享数据 的工具。由于多进程之间内存空间相互独立(不同于多线程共享同一内存),普通的变量、列表、字典等无法直接在进程间共享,而 Manager 提供了一种便捷的方式来创建可在多个进程间安全共享的对象。

Manager 的核心作用

Manager 通过创建一个服务器进程(manager process)来管理共享对象,其他进程通过网络连接(本地进程间通信)访问这个服务器进程中的对象。所有进程对共享对象的操作都会通过服务器进程中转,从而保证了数据的一致性和安全性。

支持的共享对象类型

Manager 支持创建多种常用的数据结构和同步原语,包括但不限于:

  • 基础数据结构:list、dict、Namespace(类似对象的属性访问)、Value(单个值)、Array(数组)等。
  • 同步工具:Lock(锁)、RLock(可重入锁)、Semaphore(信号量)、Event(事件)等。
  • 其他:Queue(队列)、JoinableQueue(可等待的队列)等。

使用方法

使用 Manager 的基本步骤如下:

  1. 创建 Manager 实例(multiprocessing.Manager())。
  2. 通过 Manager 实例创建需要共享的对象(如 manager.list()、manager.dict())。
  3. 在子进程中使用这些共享对象(通过函数参数传递)。
  4. 结束后,通常需要手动关闭 Manager(可选,进程退出时会自动关闭)。

示例代码

下面是一个简单示例,展示多个进程通过 Manager 共享一个列表,并对其进行修改:

复制代码
from multiprocessing import Process, Manager
import time

def add_item(shared_list, item):
    """向共享列表中添加元素"""
    time.sleep(0.1)  # 模拟耗时操作
    shared_list.append(item)
    print(f"进程 {item} 添加完成,当前列表:{shared_list}")

if __name__ == "__main__":
    # 创建 Manager 实例
    with Manager() as manager:
        # 创建共享列表
        shared_list = manager.list()
        
        # 创建 3 个子进程,分别向共享列表添加元素
        processes = []
        for i in range(3):
            p = Process(target=add_item, args=(shared_list, i))
            processes.append(p)
            p.start()
        
        # 等待所有子进程完成
        for p in processes:
            p.join()
        
        # 打印最终结果
        print(f"最终共享列表:{shared_list}")

输出(顺序可能因进程调度略有不同

plain 复制代码
`进程 0 添加完成,当前列表:[0]
进程 1 添加完成,当前列表:[0, 1]
进程 2 添加完成,当前列表:[0, 1, 2]
最终共享列表:[0, 1, 2]
`

优缺点分析

  • 优点:

  • 支持多种复杂数据结构(如 dict、list),使用方式与普通对象一致,易于理解。

  • 无需手动处理底层的进程同步细节(内部已实现基本同步)。

  • 可用于跨机器的进程共享(通过网络连接远程 Manager)。

  • 缺点:

  • 由于依赖服务器进程中转,性能比基于共享内存的方式(如 multiprocessing.Value、multiprocessing.Array)稍低,适合数据量不大或交互不频繁的场景。

  • 共享对象的操作需要通过网络通信,可能引入一定延迟。

注意事项

  1. 同步问题 :虽然 Manager 内部实现了基本同步,但多进程同时修改复杂对象(如嵌套字典)时,仍可能出现数据不一致,需手动添加锁(如 manager.Lock())。
  2. 可序列化 :通过 Manager 传递的对象需要支持序列化(pickle),否则可能报错。
  3. 资源释放 :使用 with 语句管理 Manager 可自动释放资源,避免泄露。

总之,Manager 是多进程间共享数据的便捷工具,尤其适合需要共享复杂数据结构且对性能要求不极致的场景。

相关推荐
谙弆悕博士18 分钟前
多智能体架构详解:层级树状架构(分级主从型)
运维·架构·大模型·agent·多智能体·langgraph·层级树状
戊本菌1 小时前
进程(三)进程优先级:谁先上 CPU
linux·c语言·硬件架构
aningx2 小时前
Arch 系用 greetd 实现开机自动进 Plasma Wayland,注销自动回桌面
linux
张小姐的猫2 小时前
【基于 WebSocket 的多用户网页五子棋】—— 整合封装服务器模块设计实现2️⃣
服务器·websocket·网络协议
江无行者2 小时前
Linux 服务器 top 命令详解
linux
HMS工业网络3 小时前
工业远程访问的五项安全部署原则
运维·服务器·安全
吴建旭 智宅焕4 小时前
智能家居全国交付中执行端能力评估与分级调度架构设计:从注册数量到交付确定性的系统实现
运维·智能家居·devops
嵌入式 Linux手记5 小时前
一块内存,三种解释:union 的真实用法
linux·c语言·驱动开发·嵌入式
星恒随风5 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
草莓熊Lotso5 小时前
【C++ 基于微服务的即时通讯系统】ElasticSearch 用户数据管理实现
linux·数据库·c++·elasticsearch·微服务·架构