【Python】queue模块Queue对象

Python中的queue模块是一个同步队列类,实现了多生产者、多消费者队列,适用于在多线程之间安全地传递消息或其他数据。Queue提供了所有必需的锁定语义。

queue模块有三种类型的队列(只是队列中元素的提取顺序不同):先进先出(FIFO)队列,后进先出(LIFO)队列,优先级队列(涉及heapq模块)。

其中:Queue对象 (Queue, LifoQueue, 或者 PriorityQueue) 。

Queue:先进先出(FIFO)。LifoQueue:后进先出(LIFO)。PriorityQueue:优先级队列。

python 复制代码
from queue import Queue, LifoQueue, PriorityQueue

[x for x in dir(Queue) if not x.startswith('_')]
# 结果:
['empty', 'full', 'get', 'get_nowait', 'join', 'put', 'put_nowait', 'qsize', 'task_done']

[x for x in dir(LifoQueue) if not x.startswith('_')]
# 结果:
['empty', 'full', 'get', 'get_nowait', 'join', 'put', 'put_nowait', 'qsize', 'task_done']

[x for x in dir(PriorityQueue) if not x.startswith('_')]
# 结果:
['empty', 'full', 'get', 'get_nowait', 'join', 'put', 'put_nowait', 'qsize', 'task_done']

Queue对象的方法:(以queue.Queue()为例)

q = queue.Queue():实例化Queue对象。即线程安全队列,此队列先进先出(队尾进队头出)。可限制队列大小,超过最大限制,则会阻塞;若未提供最大限制,默认maxsize=0,则表示未限制队列大小。

q.qsize():返回队列的大致大小(即队列中有多少元素)。多线程时,其它线程可能正在更新队列,因此只能是队列的大致大小。

q.empty():判断队列是否为空。

q.full():判断队列是否是满的。

q.put(...):将元素添加到队列的队尾中。

q.get():从队列的队头移除一个元素,并返回该元素。即从队列获取元素并从队列移除。

q.task_done():表示之前队列中排队的任务已被执行完毕。即get()获取任务后调用task_done()则告诉队列任务已处理完。

q.join():阻塞到队列中所有元素都被取出且被执行完毕。即队列被处理空,主线程才继续往下执行。

举例:

python 复制代码
import threading
import queue

def worker():
    while True:
        # 获取元素(从队头移除元素并返回该元素)
        item = q.get()
        # 打印当前的线程名称和获取的元素
        print(f'Starting {threading.current_thread().name} : item = {item}\n')
        print(f'Finished {threading.current_thread().name} : item = {item}\n')
        # 告诉队列当前的任务已处理完毕
        q.task_done()
        print(f'队列是否为满:{q.full()}, 队列大致大小:{q.qsize()}。\n')

# 线程安全队列,此处未限制队列大小
q = queue.Queue()
print(f'队列是否为空:{q.empty()}\n') 

# 创建4个线程,并发执行
for i in range(4):
    t = threading.Thread(target=worker, name=f'threading{i}')
    t.start()

# 共6个线程:当前主线程,4个创建的线程,1个socketThread
print(f'共有线程{threading.active_count()}个\n {threading.enumerate()}\n')

# 往队尾放入8个元素(0-7)
for item in range(8):
    q.put(item)
    if item == 7: print(f'队列是否为满:{q.full()}, 队列大致大小:{q.qsize()}。\n')

# 等待队列中所有元素都处理完毕,主线程继续往下执行
q.join()

print('All work completed')

结果:

补充:多生产者---多消费者【同步、互斥问题】

固定大小的缓冲区,多个生产者往缓冲区写数据,多个消费者从缓冲区读数据。

生产者先写数据,然后消费者才能读数据。【同步问题】

缓冲区不满,生产者才能写数据。【同步问题】

缓冲区互斥访问。【互斥问题】

结合python:q = queue**.**Queue():线程安全队列,表示缓冲区。

q**.**put(...):生产者往缓冲区写数据。

q**.**get():消费者从缓冲区读数据。

Queue对象 已具备所有必需的"锁",会为调用者处理锁定。

参考:queue --- 一个同步的队列类 --- Python 3.12.0 文档

相关推荐
Dan.Qiao11 分钟前
pycharm如何处理python项目间引用
ide·python·pycharm
草莓熊Lotso16 分钟前
《从 0 建立测试开发认知:先搞懂 “是什么”,再学 “怎么做”》
经验分享·笔记·其他·测试
万粉变现经纪人33 分钟前
如何解决pip安装报错ModuleNotFoundError: No module named ‘sympy’问题
python·beautifulsoup·pandas·scikit-learn·pyqt·pip·scipy
酷炫码神38 分钟前
第 2 篇:Java 入门实战(JDK8 版)—— 编写第一个 Java 程序,理解基础运行逻辑
java·开发语言·策略模式
像风一样自由202040 分钟前
Go语言详细指南:特点、应用场景与开发工具
开发语言·后端·golang
半夏知半秋42 分钟前
基于跳跃表的zset实现解析(lua版)
服务器·开发语言·redis·学习·lua
Wyc724091 小时前
Lua语言基础笔记
开发语言·笔记·lua
xiaohouzi1122331 小时前
Python读取视频-硬解和软解
python·opencv·ffmpeg·视频编解码·gstreamer
念念不忘 必有回响1 小时前
Pygame模块化实战:从零构建Aliens射击游戏全流程(一)
python·游戏·pygame
大筒木老辈子1 小时前
Linux笔记---HTTP协议
笔记·网络协议·http