Redis-jedis连接池配置错误导致Redis CPU飙高

一、背景

今天业务突然告知 Redis 访问比较慢,但 Redis 侧并没有什么告警,经过一系列排查,最终发现 auth 认证的频率过高,定位到业务测连接池配置有问题,最终解决问题

二、排查过程

1.查看Redis CPU

CPU 在 60-70,相对高位,但也不是最高位,需要查看引起 CPU 高的原因

2.ping 延迟的异常

ping 主节点的时候发现部分耗时在 5ms 左右,很不符合预期,怀疑可能是网卡问题导致的业务访问慢,由于从节点 ping 正常,于是对 Redis 进行了主从切换,但是切换后新主的耗时也在 5ms 左右,排除网卡问题,可能是 CPU 过高导致的延迟异常

3.CPU 异常排查

查看命令的监控并进行 monitor 采集,发现 auth 的命令高达 1w/s,且都是业务的 ip 访问,这事不符合连接池的访问现象的,于是业务对代码进行了改造,符合了连接池的配置,改造后 auth 的命令次数每秒只有 1-2 次,CPU 也已经从 60% 下降到 20%,业务访问耗时完全正常了

相关推荐
Henry-SAP7 小时前
PP的生产调度员(Production Scheduler)的角色与配置
数据库
Flynn Liang10 小时前
HikariCP 连接池不是越大越好:I/O 密集型 Java 服务的数据库容量工程
java·数据库·mysql·高并发·连接池·hikaricp·sql 优化
小乖写代码12 小时前
消息、回执与媒体 · msgstore.db · Messages, Receipts, and Media
数据库·媒体·whatsapp·消息回执
泓度科技12 小时前
接口防暴力破解+短信防刷,低成本安全加固怎么做
redis·安全加固·限流熔断·接口防暴力破解·短信防刷
GeW13 小时前
世界目光聚焦中国:底层技术、Linux、数据库的破局逻辑
linux·数据库
PingCAP13 小时前
平凯数据库 × 圣诺云数:让治理数据实时可用、跨域可信流通
数据库·tidb
利威尔xu13 小时前
PostgreSQL 索引失效 4 类:函数运算让查询全表扫描拖垮性能
开发语言·数据库·postgresql·性能优化·索引优化
PingCAP13 小时前
挚文集团(陌陌、探探)从 MySQL 分库分表到 TiDB 实时统一架构的实践
数据库·tidb
Decay__13 小时前
SQLServer 运维自动化平台 —— PowerShell + SQL Agent 作业:部署、监控、巡检、告警、工单闭环一体化
运维·数据库·sql·mysql·架构
杨凯凡14 小时前
Spring Framework 7 原生重试与并发限制实战:@Retryable、@ConcurrencyLimit 能替代 Resilience4j 吗?
数据库·spring·sqlserver