服务器带宽忽然暴增,不停的触发告警

问题:

线上环境,服务器的外网下行带宽达到某个阈值,触发告警,查了下服务器的带宽监控信息,是从某个时间开始突然串上去的,然后监控图形非常有规律,都是每秒达到顶峰后,又立马下去了,怀疑是不是有测试人员定时压测

追踪:

1、通过nethogs能够查看实时进程网络占用

ubuntu系统,通过sudo apt install nethogs

通过nethogs 网卡查看

可以看到带宽主要来自于nginx,那就查看每秒占用下行带宽最大的请求

2、使用ngxtop查看每秒占用带宽最大的请求

确保您已经安装了ngxtop。您可以通过在终端中运行pip install ngxtop来安装它。

执行如下命令

ngxtop -l /usr/local/nginx/logs/access.log --order-by 'avg(bytes_sent) * count'

输出如下:

上面的结果将显示每个请求的统计信息,包括请求数量,各种响应状态码的计数,以及发送的字节数。

追踪到耗带宽最大的请求,以及请求频率,差不多定位到了问题,再结合抓包(tcpdump -i eth0 -w test.pcap -G 10),定位到了对应的ip,果然是内部人为测试导致的(正常消耗这些带宽是正常的,只是线上环境带宽不足还未扩容)

相关推荐
HPC_fac1305206781629 分钟前
以科学计算为切入点:剖析英伟达服务器过热难题
服务器·人工智能·深度学习·机器学习·计算机视觉·数据挖掘·gpu算力
yaoxin5211232 小时前
第二十七章 TCP 客户端 服务器通信 - 连接管理
服务器·网络·tcp/ip
sinat_384241096 小时前
使用 npm 安装 Electron 作为开发依赖
服务器
朝九晚五ฺ6 小时前
【Linux探索学习】第十四弹——进程优先级:深入理解操作系统中的进程优先级
linux·运维·学习
Kkooe7 小时前
GitLab|数据迁移
运维·服务器·git
久醉不在酒8 小时前
MySQL数据库运维及集群搭建
运维·数据库·mysql
虚拟网络工程师9 小时前
【网络系统管理】Centos7——配置主从mariadb服务器案例(下半部分)
运维·服务器·网络·数据库·mariadb
BLEACH-heiqiyihu9 小时前
RedHat7—Linux中kickstart自动安装脚本制作
linux·运维·服务器
勤奋的小王同学~9 小时前
项目虚拟机配置测试环境
服务器
007php00710 小时前
GoZero 上传文件File到阿里云 OSS 报错及优化方案
服务器·开发语言·数据库·python·阿里云·架构·golang