持续学习&持续更新中...
守破离
【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【15】异步_线程池
- [初始化线程的 4 种方式](#初始化线程的 4 种方式)
- 开发中为什么使用线程池
- 线程池七大参数
- 线程池工作原理
- [常见的 4 种线程池](#常见的 4 种线程池)
- 生产中如何使用线程池?
- [CompletableFuture 异步编排---简介](#CompletableFuture 异步编排—简介)
- CompletableFuture---创建(run/supply)
- CompletableFuture---计算完成(whenComplete)
- CompletableFuture---处理(handle)
- CompletableFuture---线程串行化方法
- CompletableFuture---两任务组合---都要完成(Both/Combine)
- CompletableFuture---两任务组合---一个完成(Either)
- CompletableFuture---多任务组合
- 参考
初始化线程的 4 种方式
1)、继承 Thread
2)、实现 Runnable 接口
3)、实现 Callable 接口 + FutureTask (可以拿到返回结果,可以处理异常)
4)、线程池
-
方式 1 和方式 2:主进程无法获取线程的运算结果。不适合当前场景,也会导致资源耗尽
-
方式 3:主进程可以获取线程的运算结果,但是不利于控制服务器中的线程资源。极大可能导致服务器资源耗尽。
-
我们以后在业务代码里面,方式123,这三种启动线程的方式都不用。可能会导致资源耗尽【应该将所有的多线程异步任务都交给线程池执行】
-
方式 4:通过如下两种方式初始化线程池(当前系统中线程池最好只有一两个,每个异步任务,提交给线程池让他自己去执行就行)
-
1、Executors.newFiexedThreadPool(3);
-
2、new ThreadPoolExecutor(corePoolSize, maximumPoolSize, keepAliveTime, TimeUnit unit, workQueue, threadFactory, handler);
-
开发中为什么使用线程池
-
降低资源的消耗:通过重复利用已经创建好的线程降低线程的创建和销毁带来的损耗
-
提高响应速度:因为线程池中的线程数没有超过线程池的最大上限时,有的线程处于 等待分配任务 的状态,当任务来时无需创建新的线程就能执行
-
提高线程的可管理性:线程池会根据当前系统特点对池内的线程进行优化处理,减少创建和销毁线程带来的系统开销。无限的创建和销毁线程不仅消耗系统资源,还降低系统的稳定性,使用线程池可以进行统一的分配,调优和监控。
java
public static void main(String[] args) throws ExecutionException, InterruptedException {
System.out.println("main....start....");
/**
* 1)、继承Thread
* Thread01 thread = new Thread01();
* thread.start();//启动线程
*
* 2)、实现Runnable接口
* Runable01 runable01 = new Runable01();
* new Thread(runable01).start();
* 3)、实现Callable接口 + FutureTask (可以拿到返回结果,可以处理异常)
* FutureTask<Integer> futureTask = new FutureTask<>(new Callable01());
* new Thread(futureTask).start();
* //阻塞等待整个线程执行完成,获取返回结果
* Integer integer = futureTask.get();
* 4)、线程池[ExecutorService]
* 给线程池直接提交任务。
* service.execute(new Runable01());
* 创建:
* 1)、Executors
* 2)、new ThreadPoolExecutor
*
* Future:可以获取到异步结果
*
* 区别;
* 1、2不能得到返回值。3可以获取返回值
* 1、2、3都不能控制资源
* 4可以控制资源,性能稳定。
*/
// new Thread(()-> System.out.println("hello")).start();
//我们以后再业务代码里面,以上三种启动线程的方式都不用。可能会导致资源耗尽【应该将所有的多线程异步任务都交给线程池执行】
// executor.execute(new Runable01());
// Future<?> submit = executor.submit(new Thread01());
// Object o = submit.get();
// System.out.println(o);
//当前系统中线程池最好只有一两个,每个异步任务,提交给线程池让他自己去执行就行
/**
* 七大参数
* corePoolSize:核心线程数[一直存在除非设置allowCoreThreadTimeOut]; 线程池创建好以后就会准备就绪这些数量的线程,它们等待接受异步任务去执行。
* 5个 Thread thread = new Thread(); thread.start();
* maximumPoolSize:[200] 最大线程数量; 控制资源
* keepAliveTime:存活时间。如果当前的线程池中的线程数量大于core线程数量。
* 并且只要线程空闲时间大于指定的keepAliveTime,也就是线程在最大多长时间没有接到新任务
* 就会释放(maximumPoolSize-corePoolSize)数量空闲的线程,最终线程池维持在 corePoolSize大小
*
* unit:时间单位
* BlockingQueue<Runnable> workQueue:阻塞队列。如果任务有很多,就会将目前多的任务放在队列里面。
* 只要有线程空闲,就会去队列里面取出新的任务继续执行。
* threadFactory:线程的创建工厂。
* RejectedExecutionHandler handler:如果队列满了,按照我们指定的拒绝策略拒绝执行任务
*
*
*
* 工作顺序:
* 1)、线程池创建,准备好core数量的核心线程,准备接受任务
* 1.1、core满了,就将再进来的任务放入阻塞队列中。空闲的core就会自己去阻塞队列获取任务执行
* 1.2、阻塞队列满了,就直接开新线程执行,最大只能开到max指定的数量
* 1.3、max满了就用RejectedExecutionHandler拒绝任务
* 1.4、max都执行完成,有很多空闲.在指定的时间keepAliveTime以后,释放max-core这些线程
*
* new LinkedBlockingDeque<>():默认是Integer的最大值。内存不够
*
* 一个线程池 core 7; max 20 ,queue:50,100并发进来怎么分配的;
* 7个会立即得到执行,50个会进入队列,再开13个进行执行。剩下的30个就使用拒绝策略。
* 如果不想抛弃还要执行。CallerRunsPolicy;
*
*/
ExecutorService executor = new ThreadPoolExecutor(5,
200,
10,
TimeUnit.SECONDS,
new LinkedBlockingDeque<>(100000),
Executors.defaultThreadFactory(),
new ThreadPoolExecutor.AbortPolicy());
// Executors.newCachedThreadPool() core是0,所有都可回收
// Executors.newFixedThreadPool() 固定大小,core=max;都不可回收
// Executors.newScheduledThreadPool() 定时任务的线程池
// Executors.newSingleThreadExecutor() 单线程的线程池,后台从队列里面获取任务,挨个执行
//
System.out.println("main....end....");
}
线程池七大参数
corePoolSize:
- the number of threads to keep in the pool, even if they are idle, unless allowCoreThreadTimeOut is set
- 核心线程数[一直存在除非设置allowCoreThreadTimeOut];
- 线程池创建好以后就会将这些数量的线程准备就绪,它们等待接受异步任务去执行。
maximumPoolSize:
- the maximum number of threads to allow in the pool
- 最大线程数量;
- 可以控制资源
keepAliveTime:
- when the number of threads is greater than the core, this is the maximum time that excess idle threads will wait for new tasks before terminating.
- 存活时间。
- 如果当前的线程池中的线程数量大于core线程数量。
- 并且只要这些多余的空闲线程空闲时间大于指定的keepAliveTime,也就是线程在最大多长时间没有接到新任务
- 就会释放(maximumPoolSize-corePoolSize)数量空闲的线程,最终使得线程池维持在 corePoolSize 大小
unit:
- the time unit for the keepAliveTime argument
- 时间单位
workQueue(阻塞队列)
- the queue to use for holding tasks before they are executed. This queue will hold only the Runnable tasks submitted by the execute method.
- 如果任务有很多,就会将目前多的任务放在队列里面。
- 队列用来存储等待执行的任务,只要有线程空闲,就会去队列里面取出新的任务继续执行。
threadFactory:
- the factory to use when the executor creates a new thread
- 线程的创建工厂。
handler:(RejectedExecutionHandler)
- the handler to use when execution is blocked because the thread bounds and queue capacities are reached
- 如果队列满了,按照我们指定的拒绝策略拒绝执行任务:
- AbortPolicy【默认】:直接拒绝策略,也就是不会执行任务,直接抛出RejectedExecutionException,这是默认的拒绝策略。
- DiscardPolicy:抛弃策略,也就是直接忽略提交的任务(通俗来说就是空实现)。
- DiscardOldestPolicy:抛弃最老任务策略,也就是通过poll()方法取出任务队列队头的任务抛弃,然后执行当前提交的任务。
- CallerRunsPolicy:调用者执行策略,也就是当前调用Executor#execute()的线程直接调用任务Runnable.run(),一般不希望任务丢失会选用这种策略,但从实际角度来看,原来的异步调用意图会退化为同步调用。
线程池工作原理
文字描述:
-
在创建了线程池后,开始等待请求。
-
当调用execute()方法添加一个请求任务时,线程池会做出如下判断:
- 如果正在运行的线程数量小于corePoolSize,那么马上创建核心线程运行这个任务;
- 如果正在运行的线程数量大于或等于corePoolSize,那么将这个任务放入队列;
- 如果这个时候队列满了且正在运行的线程数量还小于maximumPoolSize,那么还是要创建非核心线程立刻运行这个任务;
- 如果队列满了且正在运行的线程数量大于或等于maximumPoolSize,那么线程池会启动饱和拒绝策略来执行。
-
当一个线程完成任务时,它会从队列中取下一个任务来执行。
-
当一个线程无事可做超过一定的时间(keepAliveTime)时,线程会判断:
- 如果当前运行的线程数大于corePoolSize,那么这个线程就被停掉。
- 所以线程池的所有任务完成后,它最终会收缩到corePoolSize的大小。
常见的 4 种线程池
java
点进源码可以去看一看:
Executors.newCachedThreadPool() core是0,所有都可回收
Executors.newFixedThreadPool() 固定大小,core=max;都不可回收
Executors.newScheduledThreadPool() 定时任务的线程池
Executors.newSingleThreadExecutor() 单线程的线程池,后台从队列里面获取任务,挨个执行
生产中如何使用线程池?
在工作中 单一的/固定数的/可变的 三种创建线程池的方法哪个用的多?
答案是一个都不用,我们工作中只能使用自定义的
Executors中JDK已经给你提供了,为什么不用?
一般不要把最大线程数写死:
java
final int availableProcessors = Runtime.getRuntime().availableProcessors();
int maximumPoolSize = availableProcessors + 1;
ExecutorService threadPool = new ThreadPoolExecutor(
2,
maximumPoolSize,
200L,
TimeUnit.SECONDS,
new ArrayBlockingQueue<>(3),
Executors.defaultThreadFactory(),
new ThreadPoolExecutor.AbortPolicy()
// new ThreadPoolExecutor.CallerRunsPolicy()
// new ThreadPoolExecutor.DiscardPolicy()
// new ThreadPoolExecutor.DiscardOldestPolicy()
);
CompletableFuture 异步编排---简介
业务场景
通过线程池性能稳定,也可以获取执行结果,并捕获异常。
但是,在业务复杂情况下,一 个异步调用可能会依赖于另一个异步调用的执行结果。
业务场景: 查询商品详情页的逻辑比较复杂(第4/5/6步需要获取到第1步的数据才能去查询),有些数据还需要远程调用,必然需要花费更多的时间。
假如商品详情页的每个查询,需要以上标注的时间之和才能完成,那么,用户需要 5.5s 后才能看到商品详情页的内容。很显然是不能接受的。
如果有多个线程同时完成这 6 步操作,也许只需要 1.5s(某个最大耗时) 即可完成响应。
简介
-
Future 是 Java 5 添加的类,用来描述一个异步计算的结果。你可以使用
isDone
方法检查计 算是否完成,或者使用get
阻塞住调用线程,直到计算完成返回结果,你也可以使用cancel
方法停止任务的执行。 -
虽然
Future
以及相关使用方法提供了异步执行任务的能力,但是对于结果的获取却是很不 方便,只能通过阻塞或者轮询的方式得到任务的结果。阻塞的方式显然和我们的异步编程的 初衷相违背,轮询的方式又会耗费无谓的 CPU 资源,而且也不能及时地得到计算结果,为 什么不能用观察者设计模式当计算结果完成及时通知监听者呢? -
很多语言,比如 Node.js,采用回调的方式实现异步编程。Java 的一些框架,比如 Netty,自 己扩展了 Java 的
Future
接口,提供了addListener
等多个扩展方法;Google guava 也提供了 通用的扩展 Future;Scala 也提供了简单易用且功能强大的 Future/Promise 异步编程模式。作为正统的 Java 类库,是不是应该做点什么,加强一下自身库的功能呢?
-
在 Java 8 中, 新增加了一个包含 50 个方法左右的类: CompletableFuture,提供了非常强大的 Future 的扩展功能,可以帮助我们简化异步编程的复杂性,提供了函数式编程的能力,可以 通过回调的方式处理计算结果,并且提供了转换和组合 CompletableFuture 的方法。
-
CompletableFuture 类实现了 Future 接口,所以你还是可以像以前一样通过
get
方法阻塞或 者轮询的方式获得结果,但是这种方式不推荐使用。 -
CompletableFuture 和 FutureTask 同属于 Future 接口的实现类,都可以获取线程的执行结果。
CompletableFuture---创建(run/supply)
-
runXxxx 都是没有返回结果的,supplyXxx 都是可以获取返回结果的
-
可以传入自定义的线程池,否则就用默认的线程池;
CompletableFuture---计算完成(whenComplete)
-
whenComplete 可以处理正常和异常的计算结果,exceptionally 处理异常情况。
-
whenComplete 和 whenCompleteAsync 的区别:
- whenComplete:是执行当前任务的线程(创建该CompletableFuture的线程)继续执行 whenComplete的任务。
- whenCompleteAsync:是把 whenCompleteAsync 这个任务继续提交给线程池来执行。
-
方法不以 Async 结尾,意味着 Action 使用相同的线程执行,而 Async 可能会使用其他线程 执行(如果是使用相同的线程池,也可能会被同一个线程选中执行)
java
CompletableFuture<Integer> future = CompletableFuture.supplyAsync(() -> {
System.out.println("当前线程:" + Thread.currentThread().getId());
int i = 10 / 0;
System.out.println("运行结果:" + i);
return i;
}, executor).whenComplete((res,excption)->{
//虽然能得到异常信息,但是没法修改返回数据。
System.out.println("异步任务成功完成了...结果是:"+res+";异常是:"+excption);
}).exceptionally(throwable -> {
//可以感知异常,同时返回默认值
return 10;
});
java
public static void main(String[] args) throws Exception {
System.out.println(Thread.currentThread().getName());
CompletableFuture<Integer> completableFuture = CompletableFuture.supplyAsync(() -> {
System.out.println(Thread.currentThread().getName() + "\tfuture");
return 1024;
});
completableFuture
.whenComplete((t, u) -> {
System.out.println(Thread.currentThread().getName() + "\twhenComplete");
})
.exceptionally(f -> {
return 4444;
}).get();
Thread.sleep(3000);
System.out.println(Thread.currentThread().getName());
new Thread(() -> {
CompletableFuture<Integer> future = CompletableFuture.supplyAsync(() -> {
System.out.println(Thread.currentThread().getName() + "\tfuture");
return 1024;
});
try {
future
.whenComplete((t, u) -> {
System.out.println(Thread.currentThread().getName() + "\twhenComplete");
})
.exceptionally(f -> {
return 4444;
}).get();
} catch (Exception e) {
e.printStackTrace();
}
}, "线程a").start();
//
Thread.sleep(3000);
System.out.println(Thread.currentThread().getName());
new Thread(() -> {
CompletableFuture<Integer> future = CompletableFuture.supplyAsync(() -> {
System.out.println(Thread.currentThread().getName() + "\tfuture");
return 1024;
});
try {
future
.whenCompleteAsync((t, u) -> {
System.out.println(Thread.currentThread().getName() + "\twhenCompleteAsync");
})
.exceptionally(f -> {
return 4444;
}).get();
} catch (Exception e) {
e.printStackTrace();
}
}, "线程b").start();
}
CompletableFuture---处理(handle)
和 complete 一样,可对结果做最后的处理(可处理异常),可改变返回值。
java
/**
* 方法执行完成后的处理【无论成功完成还是失败完成】
*/
CompletableFuture<Integer> future = CompletableFuture.supplyAsync(() -> {
System.out.println("当前线程:" + Thread.currentThread().getId());
int i = 10 / 4;
i = i / 0;
System.out.println("运行结果:" + i);
return i;
}, executor)
.handle(
(res, thr) -> {
if (res != null) {
return res * 2;
}
if (thr != null) {
return 0;
}
return 0;
}
);
// R apply(T t, U u);
System.out.println(future.get());
Thread.sleep(50000);
if(1==1) throw new RuntimeException();
CompletableFuture---线程串行化方法
-
带有 Async 默认是异步执行的。同之前。
-
thenRun
方法:【不接收,不返回】只要上面的任务执行完成,就开始执行thenRun。 -
thenAccept
方法:【只接收,无返回】能接收消费上一步处理的结果,无返回结果。 -
thenApply
方法:【既接收,又返回】当一个线程依赖另一个线程时,获取上一个任务返回的结果,并且当前任务也有返回值可以传递给下一个异步任务。
java
/**
* 线程串行化
* 1)、thenRun:不能获取到上一步的执行结果,无返回值
* .thenRunAsync(() -> {
* System.out.println("任务2启动了...");
* }, executor);
* 2)、thenAcceptAsync;能接受上一步结果,但是无返回值
* 3)、thenApplyAsync:;能接受上一步结果,有返回值
*/
CompletableFuture<String> future = CompletableFuture.supplyAsync(() -> {
System.out.println("当前线程:" + Thread.currentThread().getId());
int i = 10 / 4;
System.out.println("运行结果:" + i);
return i;
}, executor).thenApplyAsync(res -> {
System.out.println("任务2启动了..." + res);
return "Hello " + res;
}, executor);
future.get() //阻塞方法
CompletableFuture---两任务组合---都要完成(Both/Combine)
-
两个任务必须都完成,触发该任务。
-
thenCombine:组合两个 future,获取两个 future 的返回结果,并返回当前任务的返回值
-
thenAcceptBoth:组合两个 future,获取两个 future 任务的返回结果,然后处理任务,没有 返回值。
-
runAfterBoth:组合两个 future,不需要获取 future 的结果,只需两个 future 处理完任务后, 处理该任务。
java
/**
* 两个都完成
*/
CompletableFuture<Object> future01 = CompletableFuture.supplyAsync(() -> {
System.out.println("任务1线程:" + Thread.currentThread().getId());
int i = 10 / 4;
System.out.println("任务1结束:");
return i;
}, executor);
CompletableFuture<Object> future02 = CompletableFuture.supplyAsync(() -> {
System.out.println("任务2线程:" + Thread.currentThread().getId());
try {
Thread.sleep(3000);
System.out.println("任务2结束:");
} catch (InterruptedException e) {
e.printStackTrace();
}
return "Hello";
}, executor);
// future01.runAfterBothAsync(future02, () -> {
// System.out.println("任务3开始...runAfterBothAsync");
// }, executor);
//
// future01.thenAcceptBothAsync(future02, (f1, f2) -> {
// System.out.println("任务3开始...之前的结果thenAcceptBothAsync:" + f1 + "--》" + f2);
// }, executor);
CompletableFuture<String> future = future01.thenCombineAsync(future02, (f1, f2) -> {
return f1 + " :" + f2 + " -> Haha thenCombineAsync";
}, executor);
System.out.println(future.get());
CompletableFuture---两任务组合---一个完成(Either)
-
当两个任务中,任意一个 future 任务完成的时候,执行任务。
-
applyToEither:两个任务有一个执行完成,获取它的返回值,处理任务并有新的返回值。
-
acceptEither:两个任务有一个执行完成,获取它的返回值,处理任务,没有新的返回值。
-
runAfterEither:两个任务有一个执行完成,不需要获取 future 的结果,处理任务,也没有返 回值。
java
/**
* 两个任务,只要有一个完成,我们就执行任务3
* runAfterEitherAsync:不感知结果,自己没有返回值
* acceptEitherAsync:感知结果,自己没有返回值
* applyToEitherAsync:感知结果,自己有返回值
*/
// future01.runAfterEitherAsync(future02, () -> {
// System.out.println("任务3开始...没有之前的结果");
// }, executor);
// future01.acceptEitherAsync(future02, (res) -> {
// System.out.println("任务3开始...之前的结果:" + res);
// }, executor);
CompletableFuture<String> future = future01.applyToEitherAsync(future02, res -> {
System.out.println("任务3开始...之前的结果:" + res);
return res.toString() + "->哈哈";
}, executor);
System.out.println(future.get());
CompletableFuture---多任务组合
-
allOf:等待所有任务完成
-
anyOf:只要有一个任务完成
java
CompletableFuture<String> futureImg = CompletableFuture.supplyAsync(() -> {
System.out.println("查询商品的图片信息" + Thread.currentThread().getName());
return "hello.jpg";
}, executor);
CompletableFuture<String> futureAttr = CompletableFuture.supplyAsync(() -> {
try {
Thread.sleep(2000);
} catch (InterruptedException e) {
e.printStackTrace();
}
System.out.println("查询商品的属性");
return "黑色+256G";
}, executor);
CompletableFuture<String> futureDesc = CompletableFuture.supplyAsync(() -> {
try {
Thread.sleep(3000);
System.out.println("查询商品介绍");
} catch (InterruptedException e) {
e.printStackTrace();
}
return "华为";
}, executor);
CompletableFuture<Void> allOf = CompletableFuture.allOf(futureImg, futureAttr, futureDesc);
allOf.get();//等待所有结果完成
System.out.println("main....end....");
System.out.println(futureImg.get() + "=>" + futureAttr.get() + "=>" + futureDesc.get()); //直接拿来future的结果来用
// CompletableFuture<Object> anyOf = CompletableFuture.anyOf(futureImg, futureAttr, futureDesc);
// anyOf.get();//等待任意一个结果完成
// System.out.println("main....end....");
// System.out.println(anyOf.get());
参考
雷丰阳: Java项目《谷粒商城》Java架构师 | 微服务 | 大型电商项目.
Throwable: 硬核干货:4W字从源码上分析JUC线程池ThreadPoolExecutor的实现原理.
话唠扇贝: 线程池 ThreadPoolExecutor 详解.
本文完,感谢您的关注支持!