服务器带宽忽然暴增,不停的触发告警

问题:

线上环境,服务器的外网下行带宽达到某个阈值,触发告警,查了下服务器的带宽监控信息,是从某个时间开始突然串上去的,然后监控图形非常有规律,都是每秒达到顶峰后,又立马下去了,怀疑是不是有测试人员定时压测

追踪:

1、通过nethogs能够查看实时进程网络占用

ubuntu系统,通过sudo apt install nethogs

通过nethogs 网卡查看

可以看到带宽主要来自于nginx,那就查看每秒占用下行带宽最大的请求

2、使用ngxtop查看每秒占用带宽最大的请求

确保您已经安装了ngxtop。您可以通过在终端中运行pip install ngxtop来安装它。

执行如下命令

ngxtop -l /usr/local/nginx/logs/access.log --order-by 'avg(bytes_sent) * count'

输出如下:

上面的结果将显示每个请求的统计信息,包括请求数量,各种响应状态码的计数,以及发送的字节数。

追踪到耗带宽最大的请求,以及请求频率,差不多定位到了问题,再结合抓包(tcpdump -i eth0 -w test.pcap -G 10),定位到了对应的ip,果然是内部人为测试导致的(正常消耗这些带宽是正常的,只是线上环境带宽不足还未扩容)

相关推荐
cominglately15 分钟前
centos单机部署seata
linux·运维·centos
CircleMouse21 分钟前
Centos7, 使用yum工具,出现 Could not resolve host: mirrorlist.centos.org
linux·运维·服务器·centos
Karoku0661 小时前
【k8s集群应用】kubeadm1.20高可用部署(3master)
运维·docker·云原生·容器·kubernetes
木子Linux1 小时前
【Linux打怪升级记 | 问题01】安装Linux系统忘记设置时区怎么办?3个方法教你回到东八区
linux·运维·服务器·centos·云计算
mit6.8241 小时前
Ubuntu 系统下性能剖析工具: perf
linux·运维·ubuntu
watermelonoops1 小时前
Windows安装Ubuntu,Deepin三系统启动问题(XXX has invalid signature 您需要先加载内核)
linux·运维·ubuntu·deepin
不惑_1 小时前
小白入门 · 腾讯云轻量服务器部署 Hadoop 3.3.6
服务器·hadoop·腾讯云
阿甘知识库2 小时前
宝塔面板跨服务器数据同步教程:双机备份零停机
android·运维·服务器·备份·同步·宝塔面板·建站
saynaihe2 小时前
安全地使用 Docker 和 Systemctl 部署 Kafka 的综合指南
运维·安全·docker·容器·kafka
zhou周大哥4 小时前
linux 安装 ffmpeg 视频转换
linux·运维·服务器