thread堆栈分析报告

一线程dump报告

1.1 背景介绍

现网发现rabbitmq消费者程序一直没有消费消息，最终导致rabbitmq磁盘溢出。

1.2 报告内容

1.4 线程状态

线程状态

|---------------|--------------------------------------------------------------|
| 状态 | 含义 |
| NEW | 线程刚创建，未启动 |
| RUNNABLE | 线程正在 JVM 中执行，或者在等待操作系统资源（如 CPU、I/O） |
| BLOCKED | 线程在等待进入 synchronized 同步块/方法（即等待获取 monitor 锁） |
| WAITING | 调用了 Object.wait(), Thread.join(), LockSupport.park() 等，无限期等待 |
| TIMED_WAITING | 有超时的等待，如 Thread.sleep(1000), wait(1000) |
| TERMINATED | 线程已结束 |

1.5 报告分析

统计结果如下

尽管没有加锁带来的阻塞，结合代码逻辑是触发第三方调用，会导致线程阻塞在IO上，实际资源监控发现，CPU消耗不高，因为线程没有实际工作，所以导致消息堆积严重

1.6 监控

消息队列资源消耗

消费者程序资源消耗

注: 即使生产/消费速度严重不对等，盲目扩大消费者程序不一定能正向提高消费能力，要考虑综合考虑上游服务消息队列和下游服务即第三方服务的压力

二测试复现

2.1 测试用例

Mock程序: 准备一个故意睡眠10分钟的接口，供消费者程序调用

测试场景：持续1分钟，调用生产消息接口，快速生产3w+消息

测试配置: prefetch为250，concurrency为1 restTemplate超时时间是3秒

2.2 程序测试结果

测试程序

发现至少要3秒才能消费一条

2.3 程序熔断后测试结果

测试程序

|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| @Slf4j @Service public class TestService { @Resource private RestTemplate restTemplate; public String fallback(Throwable t){ return "系统故障，无法访问"; } @CircuitBreaker(name = "test", fallbackMethod = "fallback") public String handlerMsg() { String result = ""; try{ ResponseEntity<String> response = restTemplate.getForEntity("http://localhost:8001/sleep", String.class); result = response.getBody(); }catch (Exception e){ log.error("系统异常"); //需要抛异常，否则无法触发熔断 throw new RuntimeException("系统异常"); } return result; } } |

熔断配置

|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| resilience4j.circuitbreaker.instances.test.sliding-window-type=COUNT_BASED resilience4j.circuitbreaker.instances.test.sliding-window-size=5 #失败率 resilience4j.circuitbreaker.instances.test.failure-rate-threshold=10 #最小请求次数 resilience4j.circuitbreaker.instances.test.minimum-number-of-calls=5 #试探性恢复 resilience4j.circuitbreaker.instances.test.permitted-number-of-calls-in-half-open-state=3 #休眠时间 resilience4j.circuitbreaker.instances.test.wait-duration-in-open-state=120s #哪些异常记录为失败 #resilience4j.circuitbreaker.instances.test.recordExceptions=java.lang.reflect.InvocationTargetException,java.lang.RuntimeException,org.springframework.web.client.HttpServerErrorException,org.springframework.web.client.ResourceAccessException |

可以快速完成消费

注: 具体方法独立成单独Service，相关依赖一定要引入resilience4j和aop

三参考pom

四参考链接

https://resilience4j.readme.io/docs/getting-started-3

https://github.com/resilience4j/resilience4j-spring-boot2-demo