Python 从入门到实战37(进程间通信)

我们的目标是:通过这一套资料学习下来,可以熟练掌握python基础,然后结合经典实例、实践相结合,使我们完全掌握python,并做到独立完成项目开发的能力。

上篇文章我们讨论了通过multiprocessing模块创建进程操作的相关知识。今天学习一下进程间通信方式。

1、进程间能否直接共享信息

上一节我们学会了创建多个子进程,每个进程之间有什么关系呢?每个进程都有自己的地址空间、内存、数据栈以及其它记录其运行状态的辅助数据。我们举例说明进程之间能否之间共享信息:

定义一个全局变量,创建两个子进程对全局变量执行不同的操作。输出操作后的结果,查看:

#定义一个全局变量glo_num,创建两个子进程对全局变量执行不同的操作。输出操作后的结果

def plus():

print("************子进程1开始************")

global glo_num

glo_num = 200+100

print("glo_num is %d"%glo_num)

print("************子进程1结束************")

def minus():

print("************子进程2开始************")

global glo_num

glo_num = 200-100

print("glo_num is %d"%glo_num)

print("************子进程2结束************")

glo_num = 200

def main():

print("************主进程开始************")

print("父进程 的PID :%s。"%os.getpid())

p1 = Process(target=plus) #实例化进程1

p2 = Process(target=minus) #实例化进程2

p1.start() #开启进程1

p2.start()

p1.join() #等待p1进程结束

p2.join()

print("************主进程结束************")

if name=="main":

main()

输出结果参考:

我们可以看到全局变量200作为两个进程的初始值进行计算的。子进程之间没有共享信息。

如是修改:plus后面增加括号后,查看结果,进程就共享了信息。

p1 = Process(target=plus()) #实例化进程1,增加括号后

p2 = Process(target=minus()) #实例化进程2

2、多进程队列的使用

在Python中,队列是一种线性数据结构,遵循先进先出(FIFO)原则。Python的标准库中提供了queue模块,其中Queue类可以用来创建线程安全的队列。进程间就可以使用Queue来实现数据的传递

Queue常用的方法:

1)q=Queue(num) :初始化Queue()对象,num为指定的最大可接收消息数量,若num为空或者负数时,就代表可接收的消息数量没有上限,直到内存的尽头

2)Queue.qsize():返回当前队列包含的消息数量;

3)Queue.empty(): 如果队列为空,返回True ;否则返回False

  1. Queue.full():如果队列满了,返回True ;否则返回False;

5)Queue.get(block\[,timeout):获取队列中的一条消息,然后将其从队列中移除,block默认为True;如果block 使用默认值,且没有设置timeout(单位:s)消息队列为空,则此时程序会被阻塞。直到从消息读到消息位置,若设置了timeout,则会等待timeout 秒,若是还是没有任何消息,则抛出Queue.empty异常

如果block 使用False,消息队列为空,会立即抛出Queue.empty异常;

  1. Queue.get_nowait():相当于Queue.get(False);
  2. Queue.put(block\[,timeout):将item消息写入队列中,block默认为True;如果block 使用默认值,且没有设置timeout(单位:s),消息队列中已没有空间可写入,则此时程序会被阻塞。直到从空间可以写入消息为止,若设置了timeout,则会等待timeout 秒,若是还是没有任何写入空间,则抛出Queue.Full异常

如果block 使用False,消息队列没有空间可写入,会立即抛出Queue.Full异常;

  1. Queue.put_nowait(item):相当于Queue.put(item,False)

参考代码如下:

from multiprocessing import Queue

def main():

q = Queue(3) #初始化Queue 对象,最多可接收3条信息

q.put("message 1")

q.put("message 2")

print("队列还有空间吗?",q.full()) #队列是否满,返回False

q.put("message 3")

print("队列还有空间吗?", q.full()) #队列是否满,返回True

#尝试继续放入消息,如是没有空间写入,延时2秒后报错

try:

q.put("message",True,2)

except:

print("消息队列已满,现有消息数量:%s"%q.qsize())

#读取消息时,先判断消息队列是否为空

if not q.empty():

print("队列中消息为非空,读取消息")

for i in range(q.qsize()):

print(q.get_nowait()) #读取消息,无消息时报错不等待

#写入队列消息,先判断是否已满

if not q.full():

q.put_nowait("message 4")

print(q.get(True,5))

if name=="main":

main()

输出参考结果:

可以看到先进先出。

3、使用队列在进程间通信

举例说明:分别向队列中写入和读取数据

import time

from multiprocessing import Process

from multiprocessing import Queue

#向队列中写入数据

def write_fun(q1):

if not q1.full():

for i in range(4):

message = "消息" + str(i)

q1.put(message)

print("写入:%s"%message)

#从队列中读取数据

def read_fun(q2):

time.sleep(1)

while not q2.empty():

print("读取:%s"%q2.get(True,2))

def main():

print("----------父进程开始了------------")

q = Queue() #初始化Queue 对象,最多可接收3条信息

pw = Process(target=write_fun,args=(q,)) #实例化写入队列中的子进程,并且传递队列

pr = Process(target=read_fun,args=(q,))#实例化读取队列中的子进程,并且传递队列

pw.start() #启动子进程,进行写入

pr.start()

pw.join() #等待子进程执行结束

pr.join()

print("----------父进程结束了------------")

if name=="main":

main()

输出结果参考:

今天先写学习到这里了,每天进步一点点。明天也要加油啊!

相关推荐
特立独行的猫A28 分钟前
别再用 nohup 了:让应用在后台常驻的正确姿势与 systemd 服务详解
java·后端·python
吃我一窝jio3 小时前
Python与Go线程模型深度对比
java·开发语言·python
eggwyw4 小时前
C++ union 的一种妙用法
开发语言·c++
zwd20054 小时前
Manim 怎么放大画面的某一部分?
python·动画·可视化·manim·数学动画
屿华AI5 小时前
AUTOSAR 实战-诊断工具 | UDS 0x27 安全访问的配置化实现:种子密钥算法插件化设计
python·测试工具·汽车
RobinDevNotes5 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
starzy19906 小时前
深入理解Scala隐式函数:自动类型转换
开发语言·后端·scala
如夏倾城6 小时前
VRRP(虚拟路由器冗余协议Virtual Router Redundancy Protocol)
网络·python·网络协议·安全·智能路由器·负载均衡·信息与通信
IvanCodes7 小时前
LangChain(04):Runnable 与 LCEL 的执行与组合机制
python·langchain·agent
特创数字科技7 小时前
纯本地离线运行的文档脱敏工具(技术分享)
前端·驱动开发·python