大量worker process is shutting down导致nginx服务器请求异常

现象:生产环境网站接口监控报大量超时告警

排查:

查看是否属于异常攻击

1、查看公网slb带宽使用情况

2、查看nginx日志,看是否有异常流量

查看服务器及服务状态

1、查看nginx服务器资源cpu使用情况

2、查看nginx服务状态(ps -ef|grep nginx)

发现大量worker process is shutting down的进程状态

原因分析

nginx新配置了一个域名,有websocket的长连接,生产发布时,nginx热加载reload后,长连接一直处于连接中未断开,导致nginx reload的时候一直处于这个状态,把系统负载打满了

解决:

nginx.conf配置文件中增加worker_shutdown_timeout 10;
相关推荐
wowocpp19 分钟前
ubuntu 22.04 server 格式化 磁盘 为 ext4 并 自动挂载 LTS
服务器·数据库·ubuntu
wclass-zhengge22 分钟前
Netty篇(入门编程)
java·linux·服务器
方方怪27 分钟前
与IP网络规划相关的知识点
服务器·网络·tcp/ip
weixin_442643421 小时前
推荐FileLink数据跨网摆渡系统 — 安全、高效的数据传输解决方案
服务器·网络·安全·filelink数据摆渡系统
Karoku0662 小时前
【企业级分布式系统】Zabbix监控系统与部署安装
运维·服务器·数据库·redis·mysql·zabbix
半桶水专家2 小时前
用go实现创建WebSocket服务器
服务器·websocket·golang
布值倒区什么name2 小时前
bug日常记录responded with a status of 413 (Request Entity Too Large)
运维·服务器·bug
。puppy3 小时前
HCIP--3实验- 链路聚合,VLAN间通讯,Super VLAN,MSTP,VRRPip配置,OSPF(静态路由,环回,缺省,空接口),NAT
运维·服务器
颇有几分姿色3 小时前
深入理解 Linux 内存管理:free 命令详解
linux·运维·服务器
EricWang13584 小时前
[OS] 项目三-2-proc.c: exit(int status)
服务器·c语言·前端