系统学习Python——并发模型和异步编程:基础实例-[使用进程实现旋转指针]

分类目录:《系统学习Python》总目录


在讨论线程以及如何避免GIL的过程中,Python贡献者Michele Simionato发布了一个示例,可以看作演示并发的"Hello World"示例,即能展示Python"一心二用"最简单的程序。Simionato的程序使用的是multiprocessing,经过我们修改,又分别实现了使用threadingasyncio的版本。

multiprocessing包支持在单独的Python进程而非线程中运行并发任务。创建multiprocessing.Process实例后,一个全新的Python解释器以子进程的形式在后台启动。由于每个Python进程都有自己的GIL,因此程序可以使用所有可用的CPU核,但最终还是取决于操作系统的调度程序。后续的文章我们会讲具体影响,对这个简单的程序来说没什么实质差别。本文的目的是介绍multiprocessing包,展示它的API与threading的API的对应关系,方便我们把使用线程的简单程序改用进程实现。我们还是以相同的示例来讲解:启动一个函数,阻塞3秒,期间在终端展示字符动画,让用户知道程序正在运转,没有停滞。这个脚本在界面上的相同位置依次显示字符串\|/-中的各个字符,实现旋转指针动画。当缓慢的计算结束后,旋转指针那一行内容清空,显示结果:Answer: 42。下面的代码是进程multiprocessing版本:

复制代码
import itertools
import time
from multiprocessing import Process, Event  # multiprocessingAPI基本模仿threading API,不过类型提示和Mypy还是揭示了一处区别:multiprocessing.Event是函数(threading.Event是类)​,返回synchronize.Event实例,因此还需要导入multiprocessing.synchronize才能编写类型提示
from multiprocessing import synchronize

def spin(msg: str, done: synchronize.Event) -> None:  # 与threading版本一致
    for char in itertools.cycle(r'\|/-'):
        status = f'\r{char} {msg}'
        print(status, end='', flush=True)
        if done.wait(.1):
            break
    blanks = ' ' * len(status)
    print(f'\r{blanks}\r', end='')

def slow() -> int:  # 与threading版本一致
    time.sleep(3)
    return 42

def supervisor() -> int:
    done = Event()
    spinner = Process(target=spin, args=('thinking!', done))  # Process类的基本用法与Thread相似。
    print(f'spinner object: {spinner}')  # spinner.parent是创建Process对象的进程的进程ID。
    spinner.start()
    result = slow()
    done.set()
    spinner.join()
    return result

def main() -> None:
    result = supervisor()
    print(f'Answer: {result}')

if __name__ == '__main__':
    main()

threadingmultiprocessing的API基本相同,但是实现方式差别很大,而且为了处理多进程编程增加的复杂度,multiprocessing的API更多。例如,把线程换成进程后,一个难点是如何在被操作系统隔离且无法共享Python对象的进程之间通信。为此,跨进程传递的对象需要序列化和反序列化,这样一来开销就增加了。在上述示例中,跨进程传递的数据只有Event状态。在multiprocessing模块底层的C代码中,Event状态通过操作系统底层信号量实现。

从Python 3.8开始,标准库提供了multiprocessing.shared_memory包,但是不支持用户定义类的实例。除了原始字节,这个包还允许进程共享一个ShareableList。这是一个可变序列类型,存放固定数量的项,项的类型可以是intfloatboolNone,以及单项不超过10MB的strbytes

参考文献:

1\] Mark Lutz. Python学习手册\[M\]. 机械工业出版社, 2018. \[2\] 卢西亚诺·拉马略.流畅的Python 第2版(全2册) 编程语言\[M\].人民邮电出版社,2023.

相关推荐
java1234_小锋几秒前
【NLP舆情分析】基于python微博舆情分析可视化系统(flask+pandas+echarts) 视频教程 - 微博舆情数据可视化分析-热词情感趋势树形图
python·信息可视化·自然语言处理
宸津-代码粉碎机1 小时前
LLM 模型部署难题的技术突破:从轻量化到分布式推理的全栈解决方案
java·大数据·人工智能·分布式·python
都叫我大帅哥1 小时前
当数据流经LangChain时,RunnablePassthrough如何成为“最懒却最聪明”的快递员?
python·langchain
都叫我大帅哥1 小时前
机器学习界的“钢铁侠”:支持向量机(SVM)全方位指南
python·机器学习
柴 基4 小时前
Jupyter Notebook 使用指南
ide·python·jupyter
Python×CATIA工业智造5 小时前
Pycaita二次开发基础代码解析:几何体重命名与参数提取技术
python·pycharm·pycatia
你的电影很有趣5 小时前
lesson30:Python迭代三剑客:可迭代对象、迭代器与生成器深度解析
开发语言·python
成成成成成成果8 小时前
揭秘动态测试:软件质量的实战防线
python·功能测试·测试工具·测试用例·可用性测试
天天进步20158 小时前
Python游戏开发引擎设计与实现
开发语言·python·pygame
数据狐(DataFox)9 小时前
CTE公用表表达式的可读性与性能优化
经验分享·python·sql