大量worker process is shutting down导致nginx服务器请求异常

现象:生产环境网站接口监控报大量超时告警

排查:

查看是否属于异常攻击

1、查看公网slb带宽使用情况

2、查看nginx日志,看是否有异常流量

查看服务器及服务状态

1、查看nginx服务器资源cpu使用情况

2、查看nginx服务状态(ps -ef|grep nginx)

发现大量worker process is shutting down的进程状态

原因分析

复制代码
nginx新配置了一个域名,有websocket的长连接,生产发布时,nginx热加载reload后,长连接一直处于连接中未断开,导致nginx reload的时候一直处于这个状态,把系统负载打满了

解决:

复制代码
nginx.conf配置文件中增加worker_shutdown_timeout 10;
相关推荐
重生的黑客23 分钟前
Linux 进程优先级、切换与调度:从孤儿进程到 O(1) 调度模型
linux·运维·服务器·进程优先级·nice
骑上单车去旅行2 小时前
MD5校验对比脚本
linux·服务器·windows
ShirleyWang0123 小时前
让headlamp控制台能访问
linux·服务器·python·k8s·k3s
捷配链3 小时前
六层服务器板行业材料与工艺标准化选型指南
服务器·制造·pcb
xuefeiniao5 小时前
CentOS + 宝塔服务器偶发 SSH、面板、网站全部无法访问排查记录(PHP-FPM 内存耗尽案例)
服务器·centos·ssh·php
带娃的IT创业者6 小时前
突破内存瓶颈:利用 Nvidia GPU 显存作为 Linux Swap 空间的深度实践
linux·运维·服务器·nvidia·swap·gpu显存
FoldWinCard6 小时前
云原生 --- lvs
运维·服务器·lvs
大模型码小白6 小时前
企业级检索增强后端集成:Java 服务如何管理知识库版本
java·服务器·开发语言·人工智能·python·microsoft
ShirleyWang0127 小时前
Day02 K3s NGF(Nginx Gateway Fabric)单 Worker 环境网关更新与故障处置 SOP
linux·服务器·python·k8s·k3s
酷可达拉斯7 小时前
Linux操作系统-shell编程(1)
linux·运维·服务器