微服务故障排查

背景说明

刚刚接手一个多个团队开发3年的项目,对接了19个业态会员,深度对接了1个C端业务系统。系统以中台的形式存在------会员中台。但系统没有采用大数据中台的模式,而是采用MySQL作为所有数据承载的载体,这个也是导致后面问题发生的前置条件。

现象描述

2025年9月24号早上6点半,发现游湖北小程序无法正常访问,经过半个小时的排查发现是大会员接口连接超时,最终发现是大会员平台故障,直接表现就是7个服务中的job服务不在线了。

排查流程

第一步:服务挂了,优先重启job任务,运维同学启动job任务发现,后台jar启动正常,但Nacos中无法注册成功。

第二步:重启全部服务,结果发现job服务还是无法启动注册成功。

第三步:排查日志发现redis连接超时情况,再次重启redis,重启全部服务,最终job任务还是无法正常注册到Nacos里面。(内心开始着急了,因为系统运行2个月,目前也没有做版本升级,很奇葩,一般重启服务可以解决的)

第四步:重启Nacos。主要原因是考虑服务可以起来就是注册不成功,因此采用重启nacos怕它假死。重启之后效果是所有服务都无法注册成功(内心崩溃了O(∩_∩)O哈哈~)

第五步:MySQL数据库(依次排查就剩下它了),nacat连接数据库

查看mysql的使用进程:

show processlist

可以看到大量的Waiting for table flush 和Waiting for global read lock( 妈呀,终于找到你了

记录卡死的进程"select count(distinct(t.refund_main_id))

from third_tran_refund_main t, third_tran_main tran"

第一眼看上去,这个sql也很简单呀,怎么卡死了,先不管,kill掉进程,结果所有服务正常启动了。(暂时打通了,松了一口)

解决办法

第一步:测试验证,把"select count(distinct(t.refund_main_id))

from third_tran_refund_main t, third_tran_main tran"语句放到nacat中跑了一下,吓着了,5分钟还没有出结果,我去还真是它的问题。

第二步:检索代码,找到原因

接口类触发点

条件筛查判断点,第三方订单id为null,导致外键关联表没有关联上,最终触发sql超时请求,阻塞进程。

数据库sql语句

第三步:修改代码,外键关联前置,避免出现异常参数为NULL

打包测试环境验证,验证OK紧急升级(原版本中避免直接使用最新的代码,以生产环境的版本为主进行修改,避免二次引入,无法准确定位)

后续改进

针对数据持续增长的情况的情况,需要进行平台架构的调整。

短期快速解决方案

购买公有云数据库,可以动态实现扩展,对数据库的稳定性有比较好的帮助(例如阿里云)

设置当前数据库MySQL的慢查询监测机制,优先解决慢查询问题,避免短期卡顿

中长期解决方案

调整架构,将'商户交易汇总 ' ' 商品订单流水 ' ' 商品订单汇总 ' ' 商户订单汇总 ' ' 机构交易汇总 ' 等报表功能的数据转移到大数据中心进行处理,单表持续增加并且未来不可预期的数据进行转移。

推荐采用TDengine(涛思时序数据库),因为订单为主,修改的概率会低一些。也可以考虑 PostgreSQL作为备选方案。实现增量数据的扩展调整,避免后期数据持续增加带来的数据崩盘的现象。

相关推荐
2601_960567967 小时前
电商套图自动化效率的工程量化分析——从逐张生成到批量套图的架构演进
运维·架构·自动化
shiyi.十一7 小时前
第2章:应用层 — 知识要点与架构
网络·计算机网络·架构
张忠琳8 小时前
【NVIDIA】 NVIDIA Container Toolkit v1.19.1 — OCI 模块超深度分析之三
云原生·容器·架构·kubernetes·nvidia
阿里云云原生9 小时前
让 AI Agent 看见正在发生的业务,阿里云 EventHouse 正式商业化
云原生
XUHUOJUN9 小时前
Azure Local VM 部署第 1 篇:Hyperconverged 路径完整实战
架构·azure local
AOwhisky10 小时前
Python 学习笔记(第十五期)——运维自动化(下·后篇):堡垒机实战——paramiko高阶篇
运维·python·学习·云原生·自动化·运维开发
REST_302711 小时前
告别Excel孤岛:一款任务链路可视化工具带来的真实改变
大数据·微服务·云计算·编辑器·excel·动态规划
beibeix201512 小时前
CppMicroServices 核心概念:动态服务注册与模块化系统
微服务·mitk
微三云 - 廖会灵 (私域系统开发)13 小时前
电商系统从单体到微服务拆分实践:拆什么、怎么拆、拆完后怎么办
微服务·云原生·架构
在水一缸13 小时前
苹果AI国行版过审背后的技术架构深度解析:端侧模型与私有云计算的融合实践
人工智能·架构·云计算·技术架构·苹果ai·端侧模型·私有云计算