一文速通 Python 并行计算：11 Python 多进程编程-进程之间的数据安全传输-基于队列和管道

方法	作用
Put()	用以插入数据到队列中，put 方法还有两个可选参数：blocked 和 timeout。① 如果 blocked 为 True（默认值），并且 timeout 为正值，该方法会阻塞 timeout 指定的时间，直到该队列有剩余的空间。如果超时，会抛出 Queue.Full 异常。② 如果 blocked 为 False，但该 Queue 已满，会立即抛出 Queue.Full 异常。
get()	可以从队列读取并且删除一个元素。同样，get 方法有两个可选参数：blocked 和 timeout。① 如果 blocked 为 True（默认值），并且 timeout 为正值，那么在等待时间内没有取到任何元素，会抛出 Queue.Empty 异常。② 如果 blocked 为 False，有两种情况存在，如果 Queue 有一个值可用，则立即返回该值，否则，如果队列为空，则立即抛出 Queue.Empty 异常.
get_nowait()	同 q.get(False)
put_nowait()	同 q.put(False)
empty()	调用此方法时 q 为空则返回 True，该结果不可靠，比如在返回 True 的过程中，如果队列中又加入了项目。
full()	调用此方法时 q 已满则返回 True，该结果不可靠，比如在返回 True 的过程中，如果队列中的项目被取走。
qsize()	返回队列中目前项目的正确数量，结果也不可靠，理由同 q.empty()和 q.full()一样。
cancel_join_thread()	不会在进程退出时自动连接后台线程。可以防止 join_thread()方法阻塞
close()	关闭队列，防止队列中加入更多数据。调用此方法，后台线程将继续写入那些已经入队列但尚未写入的数据，但将在此方法完成时马上关闭。如果 q 被垃圾收集，将调用此方法。关闭队列不会在队列使用者中产生任何类型的数据结束信号或异常。例如，如果某个使用者正在被阻塞在 get()操作上，关闭生产者中的队列不会导致 get()方法返回错误。
join_thread()	连接队列的后台线程。此方法用于在调用 q.close()方法之后，等待所有队列项被消耗。默认情况下，此方法由不是 q 的原始创建者的所有进程调用。调用 q.cancel_join_thread 方法可以禁止这种行为

在下面的例子中， Producer 类生产 item 放到队列中，然后 Consumer 类从队列中移除它们。

python 复制代码

import multiprocessing
import random
import time

class Producer(multiprocessing.Process):
    def __init__(self, queue):
        multiprocessing.Process.__init__(self)
        self.queue = queue

    def run(self):
        for i in range(10):
            item = random.randint(0, 256)
            self.queue.put(item)
            print("Process Producer : item %d appended to queue %s" % (item, self.name))
            time.sleep(1)
            print("The size of queue is %s" % self.queue.qsize())

class Consumer(multiprocessing.Process):
    def __init__(self, queue):
        multiprocessing.Process.__init__(self)
        self.queue = queue

    def run(self):
        while True:
            if self.queue.empty():
                print("the queue is empty")
                break
            else:
                time.sleep(2)
                item = self.queue.get()
                print('Process Consumer : item %d popped from by %s \n' % (item, self.name))
                time.sleep(1)

if __name__ == '__main__':
    queue = multiprocessing.Queue()
    process_producer = Producer(queue)
    process_consumer = Consumer(queue)
    process_producer.start()
    process_consumer.start()
    process_producer.join()
    process_consumer.join()

此代码的缺点是在慢生产快消费的情况下主进程会提前结束，其中一种解决方式是让生产者在生产完毕后，往队列中再发一个结束信号，这样消费者在接收到结束信号后就可以 break 出死循环。

但是又出现一个新问题，在有多个生产者和多个消费者时，有几个消费者就需要发送几次结束信号,十分麻烦。其实我们的思路无非是发送结束信号而已，有另外一种队列提供了这种机制。

队列还有一个 JoinableQueue 子类，它有以下两个额外的方法：

**task_done()****: **消费者调用此方法表示之前入队的一个任务已经完成，比如 get() 方法从队列取回 item 之后调用，表示 q.get() 的返回项目已经被处理。如果调用此方法的次数大于从队列中删除项目的数量，将引发 ValueError 异常。
**join()****: **生产者调用此方法进行阻塞，直到队列中所有的项目均被处理。阻塞将持续到队列中的每个项目均调用 task_done() 方法为止。

示例代码如下：

python 复制代码

from multiprocessing import Process,JoinableQueue
import time,random,os
def consumer(q):
    while True:
        res=q.get()
        time.sleep(random.randint(1,3))
        print('\033[45m%s 吃 %s\033[0m' %(os.getpid(),res))
        _# 向q.join()发送一次信号,证明一个数据已经被取走了_
        q.task_done()

def producer(name,q):
    for i in range(10):
        time.sleep(random.randint(1,3))
        res='%s%s' %(name,i)
        q.put(res)
        print('\033[44m%s 生产了 %s\033[0m' %(os.getpid(),res))
    q.join()

if __name__ == '__main__':
    q=JoinableQueue()
    _#生产者们:即厨师们_
    p1=Process(target=producer,args=('包子',q))
    p2=Process(target=producer,args=('骨头',q))
    p3=Process(target=producer,args=('泔水',q))
    _#消费者们:即吃货们_
    c1=Process(target=consumer,args=(q,))
    c2=Process(target=consumer,args=(q,))
    c1.daemon=True
    c2.daemon=True

    _#开始_
    p_l=[p1,p2,p3,c1,c2]
    for p in p_l:
        p.start()

    p1.join()
    p2.join()
    p3.join()
    print('主')

2.使用管道进行通信

管道是一种最基本的进程间通信机制。把一个进程连接到另一个进程的一个数据流称为一个"管道"，通常是用作把一个进程的输出通过管道连接到另一个进程的输入。管道本质上是内核的一块缓存，内核维护了一块缓冲区与管道文件相关联，对管道文件的操作，被内核转换成对这块缓冲区内存的操作。

管道通信的特点包括：

管道在信息传输上是以流的方式传输，没有消息边界，所有管道一般用于 2 个进程之间通信；
管道的读写效率要高于队列；
管道是一种文件，可以调用 read、write 和 close 等操作文件的接口来操作管道。另一方面管道又不是一种普通的文件，它属于一种独特的文件系统：pipefs。
进程间的 Pipe 基于 fork 机制建立：
- 当主进程创建 Pipe 的时候，Pipe 的两个 Connections 连接的的都是主进程。
- 当主进程创建子进程后，Connections 也被拷贝了一份。此时有了 4 个 Connections。
- 此后，关闭主进程的一个 Out Connection，关闭一个子进程的一个 In Connection。那么就建立好了一个输入在主进程，输出在子进程的管道。

在如下示例程序中，我们在 main 进程中创建一个管道，main 进程对 conn1 和 conn2 都拥有 .send() 和 .recv() 方法的使用权。接下来我们在主进程中创建子进程，同时 conn1, conn2 作为参数传入子进程，此时，main 和 sub_process 对 conn1 和 conn2 都具有使用权限，即 main 和 sub_process 对 conn1 和 conn2 都拥有 .send() 和 .recv() 方法的使用权。

两个进程对两个端口的控制关系如下图所示：

python 复制代码

from multiprocessing import Process, Pipe
import time

_# 创建两个管道端口对象_
_# Pipe拥有默认参数duplex=True，表示每个端口都为全双工模式，_
_# 即.send()和.recv()方法都可用_
conn1, conn2 = Pipe(duplex=True)

def worker(x, pipe):
    conn1, conn2 = pipe
    _# 验证sub_process能控制conn2的接收_
    msg = conn2.recv()
    time.sleep(1)
    if msg == "conn1s":
        print("conn2 receives msg in sub_p!")
        _# 验证sub_process能控制conn2的发送_
        conn2.send("conn2s")
    _# 验证sub_process能控制conn1的接收_
    msg = conn1.recv()
    if msg == "conn2s":
        print("conn1 receives msg in sub_p!")
        _# 验证sub_process能控制conn1的发送_
        conn1.send("conn1s")
if __name__ == '__main__':
    conn1, conn2 = Pipe(True)

    sub_process = Process(target=worker, args=(100, (conn1, conn2)))
    sub_process.start()

    _# 验证main能控制conn1的发送_
    conn1.send("conn1s")
    msg = conn1.recv()
    time.sleep(1)
    if msg == "conn2s":
        _# 验证main能控制conn1的接收_
        print("conn1 receives msg in main_p!")
        _# 验证main能控制conn2的发送_
        conn2.send("conn2s")
    msg = conn2.recv()
    time.sleep(2)
    if msg == "conn1s":
        _# 验证main能控制conn2的接收_
        print("conn2 receives msg in main_p!")

最后注意使用管道端口的**.close()**** 方法来切断当前进程对某一端口控制权限时，需要在所有可以控制conn 的进程中都调用conn.close()。**

连接对象的其他使用方法包括：

一文速通Python并行计算：11 Python多进程编程-进程之间的数据安全传输-基于队列和管道

一文速通 Python 并行计算：11 Python 多进程编程-进程之间的数据安全传输-基于队列和管道

摘要：

原文链接：

往期推荐：

更多精彩内容可看：

文档获取：

正文

1.使用队列进行通信

2.使用管道进行通信