我麻了,线上redis一直报连接超时

大家好,我是小趴菜,这一天过的是真令人头大呀,本来是接手一个同事维护的老项目就已经头疼的不行了,结果现在🈶️大量的用户反映应线上服务不可用。

没办法,只能硬着头皮上了,我打开了服务器上的日志,就发现大量的错误日志,报的都是 redis的 Connection reset by peer错误,我也不知道是什么意思,只能打开百度翻译下,翻译才知道这是重置连接的意思,很纳闷,为什么redis会重置连接,后面找了点资料,说是有以下几个原因导致的

  • 1:服务器的并发连接数太多,超出了服务器的承载量,所以服务器会关闭一些连接
  • 2:redis的TimeOut设置的太短

没办法一个一个的排查了

首先看了下项目配置,rdis使用的lettuce相关的线程池,但是设置了最大连接数有1000,那是不是有可能这个原因导致的呢?

js 复制代码
redis:
  host: 127.0.0.1
  port: 6379
  password: 
  database: 0
  timeout: 20000
  lettuce:
    # 关闭超时时间
    shutdown-timeout: 1000
    pool:
      # 连接池最大连接数(使用负值表示没有限制)
      max-active: 1000
      # 连接池中最大空闲连接
      max-idle: 200
      # 连接池中最大阻塞等待时间(使用负值标识没有限制)
      max-wait: 3000
      # 连接池中的最小空闲连接
      min-idle: 20

也只能试试了,将最大连接数调低,但是最后发现没有解决这个问题,所以第一点我们可以排除了

所以现在只能看下是不是超时时间太短,但是我就在想,为什么会有这么多连接超时。

在这里我真的是想扇自己的心都有,一定要仔细看日志,一定要仔细看日志,一定要仔细看日志

在日志中已经很清楚的打印出了具体的方法了,进入这个对应的方法才知道,这个方法有将所有地市的数据封装成一个列表,然后存储到redis中,然后后续直接从这个redis中查询出来。

可问题就是这个地市的数据太多了,有几万条,估计是前同事为了省事就直接一股脑的全放到一个key中了。那么这时候这个key就是个大key

这时候很多线程来查询这个key,导致查询的时间太久了,也就一直报连接超时了。 先不管,先把这个问题解决先,既然数据多,那我就分页查询数据库,我就不用redis了。加了索引其实查询也很快。

发布上线之后观察了一段时间,发现再也没有这个问题了。所以可以肯定就是因为这个大key的原因才导致的

思考

因为当时用户并发量较高,导致redis的连接数被占满,后续有大量的用户来申请redis连接,导致有些连接被强制关闭,也因为查询的是一个大key,所以导致线程的redis一直报连接超时

所以在使用redis做缓存时候一定要仔细小心,不能存储大key,你可以将key进行查分,或者是分页查询。

相关推荐
程序员泠零澪回家种桔子4 小时前
Spring AI框架全方位详解
java·人工智能·后端·spring·ai·架构
CodeCaptain4 小时前
nacos-2.3.2-OEM与nacos3.1.x的差异分析
java·经验分享·nacos·springcloud
源代码•宸5 小时前
大厂技术岗面试之谈薪资
经验分享·后端·面试·职场和发展·golang·大厂·职级水平的薪资
Anastasiozzzz5 小时前
Java Lambda 揭秘:从匿名内部类到底层原理的深度解析
java·开发语言
骇客野人5 小时前
通过脚本推送Docker镜像
java·docker·容器
铁蛋AI编程实战5 小时前
通义千问 3.5 Turbo GGUF 量化版本地部署教程:4G 显存即可运行,数据永不泄露
java·人工智能·python
晚霞的不甘5 小时前
CANN 编译器深度解析:UB、L1 与 Global Memory 的协同调度机制
java·后端·spring·架构·音视频
马猴烧酒.5 小时前
【面试八股|JVM虚拟机】JVM虚拟机常考面试题详解
jvm·面试·职场和发展
SunnyDays10115 小时前
使用 Java 冻结 Excel 行和列:完整指南
java·冻结excel行和列
喵叔哟6 小时前
06-ASPNETCore-WebAPI开发
服务器·后端·c#