使用Multiprocessing模块创建子进程,需要放到__main__中

1 场景说明

在Python中,使用multiprocessing模块创建子进程时,将创建子进程的代码放在if __name__ == '__main__': 块之外,如下面代码:

python 复制代码
import multiprocessing
import time


def test_func(name):
    print(f"子进程 {name} 开始运行")
    time.sleep(2)  # 模拟任务执行
    print(f"子进程 {name} 结束运行")


# 创建子进程
p = multiprocessing.Process(target=test_func, args=("1",))
# 启动子进程
p.start()
# 等待子进程结束
p.join()
print("主进程结束")

2 问题描述

代码执行过后,报错信息如下:

python 复制代码
raise RuntimeError('''
RuntimeError: 
        An attempt has been made to start a new process before the
        current process has finished its bootstrapping phase.

        This probably means that you are not using fork to start your
        child processes and you have forgotten to use the proper idiom
        in the main module:

            if __name__ == '__main__':
                freeze_support()
                ...

        The "freeze_support()" line can be omitted if the program
        is not going to be frozen to produce an executable.

        To fix this issue, refer to the "Safe importing of main module"
        section in https://docs.python.org/3/library/multiprocessing.html

3 原因分析

在 Python 中,使用 multiprocessing 模块创建子进程时,必须将创建子进程的代码放在if __name__ == '__main__':块中。这是因为在 Windows 和 macOS 上,Python 使用spawn方式启动子进程,这种方式会重新导入主模块。如果不将代码放在 if __name__ == '__main__': 块中,会导致子进程重新执行主模块的代码,从而引发递归创建子进程的问题。

4 解决方案

将创建子进程的代码块放到if __name__ == '__main__':

python 复制代码
import multiprocessing
import time


def test_func(name):
    print(f"子进程 {name} 开始运行")
    time.sleep(2)  # 模拟任务执行
    print(f"子进程 {name} 结束运行")

if __name__ == '__main__':
    # 创建子进程
    p = multiprocessing.Process(target=test_func, args=("1",))
    # 启动子进程
    p.start()
    # 等待子进程结束
    p.join()
    print("主进程结束")

5 Multiprocessing模块中子进程启动方式

5.2 启动方式说明

在 Python 的 multiprocessing 模块中,子进程的启动方式主要有三种:spawnforkforkserver。不同的操作系统默认使用不同的启动方式,而这些方式的行为和适用场景也有所不同。

5.3 默认启动方式

Windows: 默认使用 spawn
macOS(Python 3.8+): 默认使用 spawn
Linux/Unix: 默认使用 fork

5.4 设置启动方式

python 复制代码
import multiprocessing


def worker():
    print("子进程运行")


if __name__ == '__main__':
    # 设置启动方式,可选spawn、fork、forkserver
    multiprocessing.set_start_method('spawn')
    # 如果设置成fork,则会抛异常ValueError: cannot find context for 'fork'
    # 创建子进程
    p = multiprocessing.Process(target=worker)
    p.start()
    p.join()

5.5 如何选择启动方式

Windows/macOS: 默认使用 spawn,无需更改。

Linux/Unix:

如果需要快速启动且不涉及多线程,使用 fork。

如果需要避免资源冲突,使用 forkserver 或 spawn。

5.6 注意事项

5.6.1 多线程与 fork

在 Linux 上,如果父进程中有多线程,使用 fork 可能会导致死锁或资源冲突 。在这种情况下,建议使用spawnforkserver

5.6.2 跨平台兼容性

如果代码需要在多个平台上运行,建议使用spawn,因为它是 Windows 和 macOS 的默认方式。

5.7 启动方式比较

启动方式 spawn fork forkserver
描述 重新启动一个 Python 解释器,只继承主进程中运行进程所需的资源。不会继承父进程的内存状态。 直接复制父进程的所有资源(包括内存状态),创建子进程。 先启动一个服务器进程,之后每次创建子进程都从该服务器进程 fork。
支持操作系统 Windows、macOS Linux、Unix Linux、Unix
优点 安全性高,避免了父进程状态不一致的问题。 启动速度快,因为直接复制父进程状态。 避免了直接 fork 父进程可能导致的问题。 比 spawn 更快,因为服务器进程已经初始化。
缺点 启动速度较慢,因为需要重新导入模块和初始化环境。 可能导致资源冲突(如文件描述符、锁等)。 在 macOS 上,fork 可能会导致问题(尤其是涉及多线程时)。 需要额外的服务器进程。
适用场景 Windows 和 macOS(默认方式)。 需要避免共享父进程状态的场景。 Linux/Unix(默认方式)。 需要快速启动子进程且不涉及多线程的场景。 Linux/Unix。 需要频繁创建子进程且希望避免资源冲突的场景。
相关推荐
阿蒙Amon25 分钟前
【Python小工具】使用 OpenCV 获取视频时长的详细指南
python·opencv·音视频
橘子编程1 小时前
Python-Word文档、PPT、PDF以及Pillow处理图像详解
开发语言·python
蓝婷儿2 小时前
Python 机器学习核心入门与实战进阶 Day 2 - KNN(K-近邻算法)分类实战与调参
python·机器学习·近邻算法
之歆2 小时前
Python-封装和解构-set及操作-字典及操作-解析式生成器-内建函数迭代器-学习笔记
笔记·python·学习
天天爱吃肉82183 小时前
ZigBee通信技术全解析:从协议栈到底层实现,全方位解读物联网核心无线技术
python·嵌入式硬件·物联网·servlet
Allen_LVyingbo4 小时前
Python常用医疗AI库以及案例解析(2025年版、上)
开发语言·人工智能·python·学习·健康医疗
智能砖头4 小时前
LangChain 与 LlamaIndex 深度对比与选型指南
人工智能·python
风逸hhh5 小时前
python打卡day58@浙大疏锦行
开发语言·python
烛阴6 小时前
一文搞懂 Python 闭包:让你的代码瞬间“高级”起来!
前端·python
JosieBook6 小时前
【Java编程动手学】Java中的数组与集合
java·开发语言·python