服务器带宽忽然暴增,不停的触发告警

问题:

线上环境,服务器的外网下行带宽达到某个阈值,触发告警,查了下服务器的带宽监控信息,是从某个时间开始突然串上去的,然后监控图形非常有规律,都是每秒达到顶峰后,又立马下去了,怀疑是不是有测试人员定时压测

追踪:

1、通过nethogs能够查看实时进程网络占用

ubuntu系统,通过sudo apt install nethogs

通过nethogs 网卡查看

可以看到带宽主要来自于nginx,那就查看每秒占用下行带宽最大的请求

2、使用ngxtop查看每秒占用带宽最大的请求

确保您已经安装了ngxtop。您可以通过在终端中运行pip install ngxtop来安装它。

执行如下命令

复制代码
ngxtop -l /usr/local/nginx/logs/access.log --order-by 'avg(bytes_sent) * count'

输出如下:

上面的结果将显示每个请求的统计信息,包括请求数量,各种响应状态码的计数,以及发送的字节数。

追踪到耗带宽最大的请求,以及请求频率,差不多定位到了问题,再结合抓包(tcpdump -i eth0 -w test.pcap -G 10),定位到了对应的ip,果然是内部人为测试导致的(正常消耗这些带宽是正常的,只是线上环境带宽不足还未扩容)

相关推荐
geniuscrh几秒前
自建Tailscale的Derp服务器
运维·服务器
QT 小鲜肉6 分钟前
【Linux命令大全】001.文件管理之whereis命令(实操篇)
linux·运维·服务器·网络·笔记
乾元9 分钟前
AI 在 BGP 池管理与路由安全(RPKI / ROA)中的自动化运用——服务提供商网络中“可验证路由”的工程化实现
运维·服务器·网络·人工智能·网络协议·安全·自动化
莫生灬灬18 分钟前
VueMultiBrowser - 开源多浏览器管理器
运维·开发语言·chrome·c#·自动化·vue
徐sir(徐慧阳)19 分钟前
WebLogic 更换服务器后java segmentation fault错误解决记录
linux·服务器·中间件·jdk
竹杖芒鞋轻胜马,谁怕?一蓑烟雨任平生。21 分钟前
docker配置镜像Docker pull时报错:https://registry-1.docker.io/v2/
运维·docker·容器
_OP_CHEN29 分钟前
【测试理论与实践】(五)测试用例篇(下):6 大方法 + 实战演练,实现从 “会设计” 到 “设计精”的飞跃!
运维·测试开发·测试用例·postman·测试工程师·测试用例设计
kubernetes-k8s32 分钟前
计划开始学习:OpenStack从入门到精通
linux·运维·服务器
oMcLin37 分钟前
Debian 10 系统中高并发下 Apache 进程崩溃问题:如何通过调整 ulimit 与配置优化修复
运维·debian·apache
天码-行空40 分钟前
【大数据环境安装指南】ZooKeeper搭建spark高可用集群教程
大数据·linux·运维·zookeeper·spark