python `queue` 模块提供了同步的、线程安全的队列类

在Python中,queue 模块提供了同步的、线程安全的队列类,这使得在多线程环境下共享数据变得简单。下面是一个使用 queue.Queue 的并发编程示例,其中使用了 threading 模块来创建多个线程,这些线程将向队列中添加元素并从队列中取出元素。

python 复制代码
import queue
import threading
import time
import random

# 定义一个工作函数,用于模拟生产者(向队列中添加数据)和消费者(从队列中取出数据)
def worker(q, job_type):
    while True:
        item = random.randint(1, 100)  # 模拟生成数据
        if job_type == 'producer':
            q.put(item)  # 生产者向队列中添加数据
            print(f'{threading.current_thread().name} 生产了 {item}')
            time.sleep(random.random())  # 模拟耗时操作
        elif job_type == 'consumer':
            item = q.get()  # 消费者从队列中取出数据
            q.task_done()  # 表示队列中之前入队的一个任务已经完成
            print(f'{threading.current_thread().name} 消费了 {item}')
            time.sleep(random.random())  # 模拟耗时操作

# 创建一个队列
q = queue.Queue()

# 创建并启动生产者线程
for i in range(2):  # 假设有两个生产者
    t = threading.Thread(target=worker, args=(q, 'producer'), name=f'生产者-{i+1}')
    t.daemon = True  # 设置为守护线程,主线程结束时守护线程也会结束
    t.start()

# 创建并启动消费者线程
for i in range(3):  # 假设有三个消费者
    t = threading.Thread(target=worker, args=(q, 'consumer'), name=f'消费者-{i+1}')
    t.daemon = True  # 设置为守护线程
    t.start()

# 主线程等待所有任务完成(这里假设所有任务都会很快完成,实际情况中可能需要更复杂的同步机制)
q.join()  # 等待队列中的所有项目都被处理

print("所有任务完成。")

注意

  1. 在这个示例中,我使用了 random.randint(1, 100) 来模拟生产的数据,以及 random.random() 来模拟生产者和消费者的耗时操作。

  2. q.put(item) 用于生产者向队列中添加元素,而 q.get() 用于消费者从队列中取出元素。q.task_done() 表示队列中之前入队的一个任务已经完成,每当消费者线程完成一个元素的消费后,就应当调用这个方法。

  3. 使用了 threading.Thread 来创建线程,并设置了 daemon 属性为 True,这意味着这些线程是守护线程,当主线程结束时,它们也会自动结束。

  4. 使用了 q.join() 方法来等待队列中的所有元素都被处理。但是,需要注意的是,在这个示例中,由于生产者线程是无限循环的(没有明确的退出条件),所以实际上 q.join() 可能永远不会返回,除非在外部有某种机制来停止生产者线程(例如,通过共享变量或使用 threading.Event)。在实际应用中,你可能需要设计更复杂的逻辑来确保生产者线程在适当的时候停止。

  5. 为了简化示例,这里没有包含优雅地关闭线程或队列的代码。在实际应用中,你可能需要实现某种形式的信号机制来通知线程何时停止工作。

相关推荐
哆啦A梦的口袋呀6 分钟前
基于Python学习《Head First设计模式》第六章 命令模式
python·学习·设计模式
努力搬砖的咸鱼8 分钟前
从零开始搭建 Pytest 测试框架(Python 3.8 + PyCharm 版)
python·pycharm·pytest
Calvex10 分钟前
PyCharm集成Conda环境
python·pycharm·conda
一千柯橘22 分钟前
python 项目搭建(类比 node 来学习)
python
sduwcgg27 分钟前
python的numpy的MKL加速
开发语言·python·numpy
大模型真好玩28 分钟前
可视化神器WandB,大模型训练的必备工具!
人工智能·python·mcp
东方佑30 分钟前
使用 Python 自动化 Word 文档样式复制与内容生成
python·自动化·word
钢铁男儿36 分钟前
Python 接口:从协议到抽象基 类(定义并使用一个抽象基类)
开发语言·python
databook44 分钟前
当机器学习遇见压缩感知:用少量数据重建完整世界
python·机器学习·scikit-learn
M1A11 小时前
Python数据结构操作:全面解析与实践
后端·python