大量worker process is shutting down导致nginx服务器请求异常

现象:生产环境网站接口监控报大量超时告警

排查:

查看是否属于异常攻击

1、查看公网slb带宽使用情况

2、查看nginx日志,看是否有异常流量

查看服务器及服务状态

1、查看nginx服务器资源cpu使用情况

2、查看nginx服务状态(ps -ef|grep nginx)

发现大量worker process is shutting down的进程状态

原因分析

nginx新配置了一个域名,有websocket的长连接,生产发布时,nginx热加载reload后,长连接一直处于连接中未断开,导致nginx reload的时候一直处于这个状态,把系统负载打满了

解决:

nginx.conf配置文件中增加worker_shutdown_timeout 10;
相关推荐
码农小白12 分钟前
linux驱动:(22)中断节点和中断函数
linux·运维·服务器
2401_857610031 小时前
SpringBoot实现:校园资料分享平台开发指南
服务器·spring boot·php
C++忠实粉丝1 小时前
Linux环境基础开发工具使用(2)
linux·运维·服务器
康熙38bdc2 小时前
Linux 环境变量
linux·运维·服务器
存储服务专家StorageExpert2 小时前
DELL SC compellent存储的四种访问方式
运维·服务器·存储维护·emc存储
大G哥3 小时前
记一次K8S 环境应用nginx stable-alpine 解析内部域名失败排查思路
运维·nginx·云原生·容器·kubernetes
长天一色3 小时前
【ECMAScript 从入门到进阶教程】第三部分:高级主题(高级函数与范式,元编程,正则表达式,性能优化)
服务器·开发语言·前端·javascript·性能优化·ecmascript
妍妍的宝贝3 小时前
k8s 中微服务之 MetailLB 搭配 ingress-nginx 实现七层负载
nginx·微服务·kubernetes
醉颜凉3 小时前
银河麒麟桌面操作系统修改默认Shell为Bash
运维·服务器·开发语言·bash·kylin·国产化·银河麒麟操作系统
前端张三4 小时前
Mac 电脑pink 后端ip地址进行本地联调
服务器·tcp/ip·macos