深入浅出Java多线程(十三)：阻塞队列

解码猿2024-03-20 9:04

引言

大家好，我是你们的老伙计秀才！今天带来的是[深入浅出Java多线程]系列的第十三篇内容：阻塞队列。大家觉得有用请点赞，喜欢请关注！秀才在此谢过大家了！！！

在多线程编程的世界里，生产者-消费者问题是一个经典且频繁出现的场景。设想这样一个情况：有一群持续不断地生产资源的线程（我们称之为"生产者"），以及另一群持续消耗这些资源的线程（称为"消费者"）。他们共享一个缓冲池，生产者将新生成的资源存入其中，而消费者则从缓冲池中取出并处理这些资源。这种设计模式有效地简化了并发编程的复杂性，一方面消除了生产者与消费者类之间的代码耦合，另一方面通过解耦生产和消费过程，使得系统可以更灵活地分配和调整负载。

然而，在实际实现过程中，尤其是在Java等支持多线程的语言中，直接操作共享变量来同步生产和消费行为会带来诸多挑战。如果没有采取适当的同步机制，当多个生产者或消费者同时访问缓冲池时，很容易造成数据竞争、重复消费甚至是死锁等问题。例如，当缓冲池为空时，消费者应被阻塞以免无谓地消耗CPU资源；而当缓冲池已满时，则需要阻止生产者继续添加元素，转而唤醒等待中的消费者去消耗资源。

为了解决上述难题，Java标准库提供了强大的工具------java.util.concurrent.BlockingQueue接口及其实现类。阻塞队列作为Java并发编程的重要组成部分，允许开发者无需手动处理复杂的线程同步逻辑，只需简单地向队列中添加或移除元素，即可确保线程安全的操作。无论是插入还是获取元素的操作，若队列当前状态不允许该操作执行，相应的线程会被自动阻塞，直至条件满足时再被唤醒。

举例来说，我们可以创建一个ArrayBlockingQueue实例，设置其容量大小，并让生产者线程通过调用put()方法将新生产的对象放入队列，如果队列已满，put()方法会阻塞生产者线程直到有消费者线程从队列中移除了某个元素腾出空间为止：

ArrayBlockingQueue<Integer> queue = new ArrayBlockingQueue<>(10); // 创建一个容量为10的阻塞队列

// 生产者线程
new Thread(() -> {
    for (int i = 0; ; i++) { // 不断生产资源
        try {
            queue.put(i); // 尝试将资源放入队列，若队列满则阻塞
            System.out.println("生产者放入了一个资源：" + i);
        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
            break;
        }
    }
}).start();

// 消费者线程
new Thread(() -> {
    while (true) { // 不断消费资源
        try {
            Integer resource = queue.take(); // 尝试从队列中取出资源，若队列空则阻塞
            System.out.println("消费者消费了一个资源：" + resource);
        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
            break;
        }
    }
}).start();

总之，借助阻塞队列这一特性，程序员能更专注于业务逻辑，而不必过分担忧底层的线程同步问题，从而极大地提升了并发程序的设计效率和可靠性。在接下来的内容中，我们将深入探讨阻塞队列的具体操作方法、多种实现类及其内部工作原理，并结合实际案例来进一步理解它在Java多线程编程中的核心价值。

阻塞队列作用

阻塞队列的由来与作用在多线程编程中扮演着至关重要的角色。其诞生源于解决生产者-消费者问题这一经典的并发场景，它有效地降低了开发复杂度，并确保了数据交换的安全性。

在传统的生产者-消费者模式下，假设存在多个生产者线程和消费者线程，它们共享一个有限容量的缓冲池（或称为队列）。生产者线程负责生成资源并将其存入缓冲池，而消费者线程则从缓冲池取出资源进行消费。如果直接使用普通的非同步队列，在多线程环境下进行资源的存取操作时，可能会出现以下问题：

  1. 线程安全问题：当多个线程同时访问同一个队列时，可能出现竞态条件导致的数据不一致，例如重复消费、丢失数据或者数据状态错乱。
  2. 死锁与活跃性问题：在没有正确同步机制的情况下，生产者和消费者线程可能陷入互相等待对方释放资源的状态，从而导致死锁；或者当缓冲区已满/空时，线程因无法继续执行而进入无限期等待状态，影响系统整体的效率和响应性。
  3. 自定义同步逻辑复杂：为了解决上述问题，开发者需要自行编写复杂的等待-通知逻辑，即当队列满时阻止生产者添加元素，唤醒消费者消费；反之，当队列空时阻止消费者获取元素，唤醒生产者填充资源。这些逻辑容易出错且不易维护。

Java平台通过引入java.util.concurrent.BlockingQueue接口及其一系列实现类，大大简化了生产者-消费者问题的解决方案。BlockingQueue不仅提供了线程安全的队列访问方式，而且自动处理了上述的各种同步问题，使得生产者和消费者能够自然地协作，无需关注底层的线程同步细节。

举例来说，下面是一个使用ArrayBlockingQueue作为共享资源容器的简单生产者-消费者示例：

import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.TimeUnit;

public class BlockingQueueExample {
    static final int QUEUE_CAPACITY = 10;
    static ArrayBlockingQueue<Integer> sharedQueue = new ArrayBlockingQueue<>(QUEUE_CAPACITY);

    public static void main(String[] args) {
        Thread producerThread = new Thread(() -> produce());
        Thread consumerThread = new Thread(() -> consume());

        producerThread.start();
        consumerThread.start();

        try {
            producerThread.join();
            consumerThread.join();
        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
        }
    }

    static void produce() {
        for (int i = 0; ; i++) {
            try {
                sharedQueue.put(i);
                System.out.println("生产者放入了一个元素：" + i);
                TimeUnit.MILLISECONDS.sleep(100); // 模拟生产间隔
            } catch (InterruptedException e) {
                Thread.currentThread().interrupt();
                break;
            }
        }
    }

    static void consume() {
        while (true) {
            try {
                Integer item = sharedQueue.take();
                System.out.println("消费者消费了一个元素：" + item);
                TimeUnit.MILLISECONDS.sleep(150); // 模拟消费间隔
            } catch (InterruptedException e) {
                Thread.currentThread().interrupt();
                break;
            }
        }
    }
}

在这个例子中，生产者线程调用put()方法将整数元素添加到ArrayBlockingQueue中，当队列满时，该方法会阻塞生产者直到有空间可用。消费者线程则通过调用take()方法从队列中移除并消费元素，当队列为空时，消费者会被阻塞直至有新的元素被加入。这样，阻塞队列充当了协调生产者和消费者工作节奏的核心组件，保证了整个系统的稳定性和高效运行。

阻塞队列的操作方法详解

阻塞队列的操作方法详解是理解和使用Java并发包中java.util.concurrent.BlockingQueue的关键部分。它提供了一系列丰富的方法来插入、移除和检查元素，这些方法在处理多线程环境下共享数据时确保了线程安全，并能够根据不同的需求采取不同的策略。

抛出异常操作：

  • add(E e)：如果尝试向满的队列添加元素，则抛出IllegalStateException("Queue full")异常。
  • remove()：若队列为空则抛出NoSuchElementException异常，用于移除并返回队列头部的元素。
  • element()：返回但不移除队列头部的元素，同样在队列为空时抛出NoSuchElementException异常。

返回特殊值操作：

  • offer(E e)：尝试将元素放入队列，如果队列已满则返回false，否则返回true表示成功加入。
  • poll()：尝试从队列中移除并返回头部元素，若队列为空则返回null。
  • peek()：查看队列头部元素而不移除，队列为空时也返回null。

一直阻塞操作：

  • put(E e)：将指定元素添加到队列中，如果队列已满，则当前线程会被阻塞直到有空间可用。
  • take()：从队列中移除并返回头部元素，如果队列为空，调用此方法的线程会阻塞等待其他线程存入元素。

超时退出操作：

  • offer(E e, long timeout, TimeUnit unit)：试图将元素添加到队列，若在给定超时时间内仍无法加入，则返回false，否则返回true。
  • poll(long timeout, TimeUnit unit)：试图从队列中移除并返回一个元素，若在给定超时时间内队列依然为空，则返回null。

举例说明，以下代码展示了如何使用BlockingQueue的一些基本操作：

import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.TimeUnit;

public class BlockingQueueDemo {
    static final int QUEUE_CAPACITY = 5;
    static ArrayBlockingQueue<String> queue = new ArrayBlockingQueue<>(QUEUE_CAPACITY);

    public static void main(String[] args) throws InterruptedException {
        // 使用put()方法添加元素，当队列满时阻塞生产者
        for (int i = 0; i < 7; i++) {
            queue.put("Item " + i);
            System.out.println("已放入: " + "Item " + i);
        }

        // 使用take()方法消费元素，当队列空时阻塞消费者
        while (!queue.isEmpty()) {
            String item = queue.take();
            System.out.println("已取出: " + item);
        }

        // 使用offer()方法尝试添加，不会阻塞生产者
        if (!queue.offer("额外项", 1, TimeUnit.SECONDS)) {
            System.out.println("添加失败，队列已满或超时");
        }
    }
}

在上述示例中，ArrayBlockingQueue的容量为5，当尝试通过put()方法添加第6个元素时，生产者线程将会被阻塞；而消费者线程通过take()方法逐个取出元素时，如果遇到队列为空的情况，也会被阻塞直至新的元素加入。此外，我们还演示了offer()方法配合超时参数，在指定的时间内尝试添加元素，超过这个时间限制仍未成功添加时，方法会立即返回结果而不是继续阻塞。

阻塞队列的实现类

阻塞队列的实现类解析是深入理解Java并发编程中BlockingQueue接口的关键环节。Java标准库提供了多种阻塞队列的实现，每种都有其特定的设计和适用场景。

ArrayBlockingQueue： ArrayBlockingQueue基于数组结构，因此具有固定容量，并且支持公平或非公平锁策略。构造时需要指定容量大小，一旦创建后无法更改。如下示例代码创建了一个容量为10的公平锁ArrayBlockingQueue：

ArrayBlockingQueue<String> fairQueue = new ArrayBlockingQueue<>(10, true);

该队列在满或者空时，会通过内部维护的notEmpty和notFull条件变量来控制生产者和消费者的阻塞与唤醒。

LinkedBlockingQueue ： LinkedBlockingQueue使用链表数据结构，可以设置初始容量（默认值为Integer.MAX_VALUE），意味着如果不指定容量，则它是一个无界队列。此队列遵循先进先出（FIFO）原则。以下是如何创建一个初始容量为20的LinkedBlockingQueue：

LinkedBlockingQueue<Integer> linkedQueue = new LinkedBlockingQueue<>(20);

DelayQueue： DelayQueue中的元素必须实现Delayed接口，每个元素都有一个可延迟的时间，只有当这个延迟时间过期后，消费者才能从队列中取出该元素。这种特性适用于处理定时任务等场景。以下是如何向DelayQueue添加一个延时对象：

class DelayedTask implements Delayed {
    // 实现Delayed接口的方法
}

DelayQueue<DelayedTask> delayQueue = new DelayQueue<>();
delayQueue.put(new DelayedTask(...)); // 填充带有延迟信息的任务

PriorityBlockingQueue： PriorityBlockingQueue是一种无界的优先级队列，元素按照优先级顺序被取出。优先级通过构造函数传入的Comparator决定，若不提供则按元素的自然排序。下面是如何创建并插入一个根据自定义比较器排序的队列：

class Task implements Comparable<Task> {
    int priority;
    // 实现Comparable接口的方法
}

Comparator<Task> comparator = Comparator.comparing(Task::getPriority);
PriorityBlockingQueue<Task> priorityQueue = new PriorityBlockingQueue<>(10, comparator);
priorityQueue.put(new Task(...));

SynchronousQueue： SynchronousQueue是一种特殊的阻塞队列，它没有内部容量，始终要求生产和消费操作完全匹配：每个put操作都需要有对应的take操作同时发生，反之亦然。对于希望直接传递对象而不进行存储的场景非常有用。下面是SynchronousQueue的基本用法：

SynchronousQueue<Integer> syncQueue = new SynchronousQueue<>();
Thread producerThread = new Thread(() -> {
    try {
        syncQueue.put(1); // 这里将一直阻塞，直到有消费者线程调用take()
    } catch (InterruptedException e) {
        Thread.currentThread().interrupt();
    }
});
Thread consumerThread = new Thread(() -> {
    try {
        Integer value = syncQueue.take(); // 这里将一直阻塞，直到有生产者线程调用put()
        System.out.println("Consumed: " + value);
    } catch (InterruptedException e) {
        Thread.currentThread().interrupt();
    }
});

producerThread.start();
consumerThread.start();

总之，不同类型的阻塞队列设计各异，开发者应根据实际应用场景选择合适的阻塞队列实现，以充分利用它们各自的优势，确保多线程环境下的高效、安全同步。

阻塞队列的原理剖析

阻塞队列的原理剖析主要围绕其如何利用Java并发包中的锁和条件变量机制来实现线程间的高效同步。以ArrayBlockingQueue为例，其内部使用了ReentrantLock以及两个Condition对象notEmpty和notFull来进行生产和消费过程的控制。

锁（ReentrantLock）的作用 在ArrayBlockingQueue中，所有对共享资源的操作都被保护在一个ReentrantLock之内，确保同一时间只有一个线程能够执行put或take操作。例如，当一个生产者线程试图向满的队列中添加元素时，它必须首先获取到lock锁，否则将被阻塞在外等待。

final ReentrantLock lock = this.lock;
lock.lockInterruptibly(); // 获取锁，支持中断

条件变量（Condition）的运用

  • notEmpty：当队列为空时，消费者线程调用take()方法会阻塞并注册到notEmpty条件上，直到有生产者线程put了一个新元素进入队列，并通过notEmpty.signal()唤醒消费者线程继续执行。

  • notFull：反之，当队列已满时，生产者线程调用put()方法会被阻塞并注册到notFull条件上，直到有消费者线程从队列中取走一个元素，使得队列不满，然后通过notFull.signal()唤醒生产者线程继续插入元素。

    while (count == items.length) { // 判断队列是否已满
    notFull.await(); // 生产者线程在此阻塞等待
    }
    enqueue(e); // 添加元素至队列

    // 对于消费者线程：
    while (count == 0) { // 判断队列是否为空
    notEmpty.await(); // 消费者线程在此阻塞等待
    }
    return dequeue(); // 从队列移除并返回一个元素

put与take操作流程详解

  • put(E e)方法：生产者线程首先尝试获取锁，如果成功则检查队列是否已满，未满则直接加入元素并唤醒一个等待的消费者线程；若队列已满，则当前线程会在notFull条件上等待，直至其他线程消费元素后释放空间。
  • take()方法：消费者线程同样先尝试获取锁，如果成功则检查队列是否为空，不为空则立即移除并返回一个元素，并唤醒一个等待的生产者线程；若队列为空，则当前线程在notEmpty条件上等待，直至其他线程放入元素后提供可消费的数据。

总结来说，阻塞队列通过巧妙地结合ReentrantLock及其内部的多个Condition对象实现了线程间的协作与同步，确保了生产者线程在队列未满时可以顺利地添加元素，而消费者线程则在队列非空时能及时消费元素。这种设计避免了线程间的无效竞争和资源浪费，保证了多线程环境下的数据一致性及程序性能。

阻塞队列的应用实例与场景

阻塞队列在多线程编程中具有广泛的应用，特别是在生产者-消费者模式、任务调度以及线程池管理等场景中扮演着至关重要的角色。

生产者-消费者模型实例与分析 在一个典型的生产者-消费者场景中，我们可以使用ArrayBlockingQueue来实现两个线程间的同步交互。下面是一个简化的示例代码：

import java.util.concurrent.ArrayBlockingQueue;

public class Test {
    private static final int QUEUE_CAPACITY = 10;
    private final ArrayBlockingQueue<Integer> queue = new ArrayBlockingQueue<>(QUEUE_CAPACITY);

    public static void main(String[] args) throws InterruptedException {
        Test test = new Test();
        Thread producer = new Thread(test.new Producer());
        Thread consumer = new Thread(test.new Consumer());

        producer.start();
        consumer.start();

        producer.join();
        consumer.join();
    }

    class Producer implements Runnable {
        @Override
        public void run() {
            for (int i = 0; i < 20; i++) {
                try {
                    queue.put(i);
                    System.out.println("生产者插入了一个元素：" + i + "，队列剩余空间：" + (QUEUE_CAPACITY - queue.size()));
                } catch (InterruptedException e) {
                    Thread.currentThread().interrupt();
                }
            }
        }
    }

    class Consumer implements Runnable {
        @Override
        public void run() {
            while (true) {
                try {
                    Integer item = queue.take();
                    System.out.println("消费者消费了一个元素：" + item + "，当前队列大小：" + queue.size());
                } catch (InterruptedException e) {
                    Thread.currentThread().interrupt();
                    break;
                }
            }
        }
    }
}

在这个例子中，生产者线程持续地向ArrayBlockingQueue中添加整数，当队列满时，put操作会自动阻塞；而消费者线程则不断从队列中移除并打印元素，当队列为空时，take操作也会被阻塞。通过这种方式，阻塞队列成功协调了两个线程的执行节奏，避免了资源竞争和数据不一致的问题。

线程池中的应用 Java线程池（ThreadPoolExecutor）是另一个利用阻塞队列作为核心组件的典型例子。在创建线程池时，可以指定一个BlockingQueue作为工作队列，用于存储待执行的任务。当核心线程忙碌或超出其最大容量时，新提交的任务会被放入此队列中等待执行。如下所示：

import java.util.concurrent.*;

public class ThreadPoolExample {
    public static void main(String[] args) {
        BlockingQueue<Runnable> workQueue = new LinkedBlockingQueue<>();
        ThreadPoolExecutor executor = new ThreadPoolExecutor(
            5, // 核心线程数
            10, // 最大线程数
            60, // 空闲线程存活时间
            TimeUnit.SECONDS,
            workQueue // 使用LinkedBlockingQueue作为工作队列
        );

        // 提交多个任务到线程池
        for (int i = 0; i < 20; i++) {
            executor.execute(() -> {
                // 执行具体任务逻辑
                System.out.println("正在执行任务：" + Thread.currentThread().getName());
            });
        }

        // 关闭线程池
        executor.shutdown();
    }
}

在上述代码中，ThreadPoolExecutor内部的工作机制正是依赖于阻塞队列对任务进行缓存和分配。当线程池无法立即处理所有提交的任务时，新的任务会被放入LinkedBlockingQueue中排队等待，直到有空闲的线程可用。这种设计极大地提高了系统处理并发任务的能力，并保证了线程资源的有效利用。

总结

在深入浅出Java多线程之阻塞队列的学习过程中，我们已经了解到阻塞队列作为Java并发编程中的重要工具，它不仅简化了生产者-消费者模式的实现，还有效地解决了线程间同步问题。通过ArrayBlockingQueue、LinkedBlockingQueue、DelayQueue、PriorityBlockingQueue和SynchronousQueue等不同的实现类，我们可以根据实际需求选择适合的阻塞队列类型，以确保线程安全地存储和传递数据。

回顾本篇文档中给出的实例，我们可以看到阻塞队列在多线程环境下的高效运作机制，比如在生产者-消费者模型中，生产者线程使用put()方法将元素放入队列，并在队列满时被阻塞；而消费者线程利用take()方法从队列中取出元素，在队列空时也被相应地阻塞。这种设计使得系统无需显式处理复杂的等待-通知逻辑，极大地提高了程序开发效率和系统的稳定性。

此外，阻塞队列还在Java线程池（ThreadPoolExecutor）中扮演着核心角色，作为任务缓冲区，保证了线程资源的有效分配和调度。例如，当新任务提交到已饱和的线程池时，任务会被暂存于工作队列中，如LinkedBlockingQueue，等待线程执行完成后再从队列中取出并执行。

总结来说，阻塞队列是Java并发编程的核心组件之一，熟练运用它可以更好地解决多线程间的同步问题，提高系统整体性能。

相关推荐
xmh-sxh-131412 分钟前
jdk各个版本介绍
java
天天扭码31 分钟前
五天SpringCloud计划——DAY2之单体架构和微服务架构的选择和转换原则
java·spring cloud·微服务·架构
程序猿进阶32 分钟前
堆外内存泄露排查经历
java·jvm·后端·面试·性能优化·oom·内存泄露
FIN技术铺36 分钟前
Spring Boot框架Starter组件整理
java·spring boot·后端
小曲程序43 分钟前
vue3 封装request请求
java·前端·typescript·vue
陈王卜1 小时前
django+boostrap实现发布博客权限控制
java·前端·django
小码的头发丝、1 小时前
Spring Boot 注解
java·spring boot
java亮小白19971 小时前
Spring循环依赖如何解决的？
java·后端·spring
飞滕人生TYF1 小时前
java Queue 详解
java·队列
武子康2 小时前
大数据-230 离线数仓 - ODS层的构建 Hive处理 UDF 与 SerDe 处理 与 当前总结
java·大数据·数据仓库·hive·hadoop·sql·hdfs
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07【目标跟踪】相机运动补偿08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10量化方法怎么选？如何评估量化后的大模型LLM？