Redis 连接池耗尽的一次异常定位

转载请注明出处:

最近在项目中遇到一个奇怪的现象,项目运行环境中的redis在业务运行中,一直没有更新redis的值,在服务的日志中也没有看到相关的异常,导致服务看起来正常,但和redis相关的功能却没有更新。记录下这个异常定位解决的过程。

登录到redis里面,发现redis也是运行正常的,且能正常获取。所以进入到了服务端里面,获取jvm线程进行具体分析,看到有很多个线程栈如下:

定位分析过程

  • pool-4-thread-1

    线程名称,表明该线程属于线程池 pool-4 的第一个工作线程(线程池通常由 ThreadPoolExecutor 管理)。

  • Id=211

    JVM 内部分配的线程唯一标识符(非操作系统线程ID)。

CPU 时间统计

复制代码
cpu=692644037380 ns usr=644020000000 ns 
  • cpu=692644037380 ns

    线程从启动至今消耗的 总 CPU 时间(包括内核态和用户态),单位为纳秒(≈ 692.64 秒)。

  • usr=644020000000 ns

    线程在 用户态(User Mode) 消耗的 CPU 时间(≈ 644.02 秒)。
    差值意义cpu - usr ≈ 48.62秒 为线程在内核态(Kernel Mode)的耗时,通常由系统调用(如 I/O、锁竞争)引起。


线程阻塞与等待统计

复制代码
blocked 2294 for -1 ms waited 28442 for -1 ms
  • blocked 2294

    线程因 竞争锁(synchronized) 而被阻塞的次数(总计 2294 次)。

  • for -1 ms

    阻塞时间的统计方式,-1 ms 表示未记录具体阻塞时长(需启用 JVM 参数 -XX:+PrintBlocked 获取)。

  • waited 28442

    线程在 等待条件触发 (如 Object.wait()Condition.await())的次数(总计 28442 次)。

  • for -1 ms

    等待时间的统计方式,-1 ms 表示未记录具体等待时长(需启用 -XX:+PrintWait 获取)。


线程状态与堆栈跟踪

复制代码
java.lang.Thread.State: WAITING
  at sun.misc.Unsafe.park(Native Method)
  - waiting on (a java.util.concurrent.ThreadPoolExecutor$Worker@5cf37a65)
  • Thread.State: WAITING

    线程处于 无限期等待 状态,通常由以下操作触发:

    • Object.wait()(无超时参数)。

    • LockSupport.park()

    • Condition.await()(无超时参数)。

  • sun.misc.Unsafe.park(Native Method)

    线程通过 LockSupport.park() 进入阻塞状态,底层调用 Unsafe.park()

  • waiting on (a java.util.concurrent.ThreadPoolExecutor$Worker@5cf37a65)

    线程正在等待 ThreadPoolExecutor.Worker 对象(线程池工作线程的封装)关联的条件变量(如任务队列非空)。


关键堆栈分析

复制代码
at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039)
at java.util.concurrent.LinkedBlockingQueue.take(LinkedBlockingQueue.java:442)
at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1074)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1134)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:750)
  • 核心路径

    1. 线程从 LinkedBlockingQueue.take() 尝试获取任务。

    2. 若队列为空,调用 ConditionObject.await() 进入等待。

    3. 最终通过 LockSupport.park() 挂起线程,直到新任务到达。


性能问题诊断

1. 高 waited 次数(28442 次)

  • 可能原因

    • 线程池任务队列长期为空,工作线程频繁等待新任务。

    • 任务生产速度不足(如上游系统吞吐量低)。

    • 线程池配置不合理(核心线程数过多,超出实际需求)。

2. 高 blocked 次数(2294 次)

  • 可能原因

    • 线程池内部锁竞争(如 Worker 线程争用任务队列)。

    • 共享资源(如数据库连接池)的同步访问冲突。

3. CPU 时间分配

  • 用户态耗时占比
    usr / cpu ≈ 644.02 / 692.64 ≈ 93%,表明线程主要执行用户代码,而非系统调用。若应用为计算密集型,此比例为正常现象。

优化建议

1. 线程池配置优化

  • 调整核心线程数

    若队列长期为空,减少 corePoolSize,避免线程闲置。

    复制代码
    new ThreadPoolExecutor(
        corePoolSize,   // 根据负载动态调整(如使用动态线程池框架)
        maxPoolSize,
        keepAliveTime,
        TimeUnit.SECONDS,
        new LinkedBlockingQueue<>(capacity)
    );

2. 任务队列监控

  • 检查队列容量

    若使用无界队列(如 LinkedBlockingQueue 未指定容量),可能导致内存溢出,建议改为有界队列。

  • 监控队列堆积

    通过 JMX 或 ThreadPoolExecutorgetQueue().size() 实时观察任务积压情况。

3. 减少锁竞争

  • 使用无锁数据结构

    替换 LinkedBlockingQueueConcurrentLinkedQueue(需配合非阻塞任务调度逻辑)。

  • 分离读写操作

    若共享资源访问频繁,使用读写锁(ReentrantReadWriteLock)替代独占锁。

问题解决:

根据截图中的线程栈调用过程,可以定位到项目代码执行调用的地方,发现调用的地方是频繁批量更新redis缓存值得,且每次都是单独一条设置更新得。因此很快推测出来,是这个调用得地方在频繁更新redis缓存值时,导致服务中redis得连接数不够了,因此将代码中更新redis值得方式,使用管道得方式进行更新设置,问题得以解决。

相关推荐
海绵波波1072 小时前
【高并发】Celery + Redis异步任务队列方案提高OCR任务时的并发
redis·celery
CopyLower6 小时前
解决 Redis 缓存与数据库一致性问题的技术指南
数据库·redis·缓存
chunfeng—11 小时前
Redis相关命令详解与原理(一)
数据库·redis·缓存
小刘|20 小时前
Redis 中简单动态字符串(SDS)的深入解析
数据库·redis·bootstrap
pqq的迷弟1 天前
Redis的过期设置和策略
数据库·redis
不剪发的Tony老师1 天前
Redis 8.0正式发布,再次开源为哪般?
数据库·redis
鱼儿也有烦恼1 天前
Redis最新入门教程
数据库·redis·缓存
风象南1 天前
Redis中6种缓存更新策略
redis·后端
码码哈哈0.01 天前
2025最新:3分钟使用Docker快速部署Redis集群
redis·docker·容器