生产环境超时问题最佳实践-从timeout导致500错误获得

最近发现线上系统的一个功能出现500错误。该功能是调用外部服务(内含把一个文件传给另一个平台),用同样文件,测试环境下测试可以,线上环境不行。先记录解决思路如下:

1、比较环境:测试环境和线上环境环境都是--前端 -> nginx -> 应用服务器。基本没差别。

2、根据日志找原因:

2.1 开始看到org.springframework.web.servlet.DispatcherServlet.processDispatchResult(1044) -- Null ModelAndView returned to DispatcherServlet with name 'xxx-servlet': assuming HandlerAdapter completed request handling

以为是这个原因导致(分析是后台还没处理完,前端请求超时导致HandlerAdapter completed request handling),还专门用程序调试了调用上传文件这个服务。

2.2 后结合浏览器、各端层面,初步判定是超时。因为测试环境外部带宽大,而线上环境外部带宽很小(主要用于监管服务器状态)。

3、解决问题

按下图修改各端连接的超时参数解决问题:

实际过程:由于一开始没有画这个图,凭经验一个个修改测试,修改的先后顺序就是图中红色数字表示(其中(*)表示不存在超时)。每个步骤一个个试,实际是花了很久时间的。得到的经验如下:
超时问题最佳实践:通常生产环境比较复杂,当发生超时问题时,应首先画出该超时功能流转图--即从前到后把每个独立部署点相连,然后逐一检查各个点之间连接是否存在超时要控制,这样可一次性处理到位。

相关推荐
镜子AI2 小时前
镜子AI 技术复盘:三条自动化链路上的“停止条件“设计
运维·人工智能·自动化
tianyuanwo2 小时前
NetBox 数据库详解:当“关系型数据库”被装进一个网络运维的领域模型里
运维·数据库·netbox
知已难寻4 小时前
03 · OpenStack的计算管理 Nova
运维·服务器·开发语言·云原生·云计算·openstack·开源软件
huainingning5 小时前
Windows syslog日志服务器搭建与模拟器对接
运维·服务器·智能路由器
say_fall5 小时前
【Linux系统编程】Ext 文件系统:磁盘与存储、文件与目录、现代计算机究竟如何寻找文件
linux·运维·服务器·数据库·c++
wacsii6 小时前
【Linux进程(一)】Linux 进程初探:操作系统如何管理进程?fork() 为什么返回两次?
linux·运维·服务器
相思难忘成疾6 小时前
从零搭建 Kubernetes 1.30 集群:kubeadm 部署一主多从实战(RHEL 9.3 + Docker + flannel)
linux·运维·kubernetes
PellyKoo6 小时前
【docker】cifs卷改smb密码后容器起不来的解决方法
运维·docker·容器
云飞云共享云桌面6 小时前
1台SolidWorks服务器如何承载10个设计并发?
运维·服务器·网络·3d·制造