服务器异常数据问题解决 工具(tcpdump+wireshark+iptables)

问题:

某天一客户反馈,后台页面上显示的设备数据异常增长。现场实际只有2w+台设备安装了助手(客户端),但是后台显示有16w+的助手设备,并且还在持续且快速的增长。这些数据会被加载到缓存,时间久了,服务端程序内存会占用很多,并且数据库一直增加一些无用数据可能导致cpu占用高,以及页面查询卡顿。

处理流程:

我们远程后netstat -naop|grep port|wc -l 看到实际上在线的也只是8000台设备,查看页面的增长的这些助手信息,发现都是一些离线的客户端,且大部分没有ip mac信息,少部分有ip mac信息(1)。

说明:设备ID标识着每一个唯一的客户端,客户端使用这个唯一标识和后台服务端程序连接,服务端程序不允许同一时间两个相同设备id的程序连上来

对此,第一想到的是会不会是我们提供给测试同事用的测试工具,即模拟新助手(客户端)上报的工具在服务器环境使用,和相关维护的同事确认后,在服务器上进行查找,也没有找这个测试工具。由于这些助手都是离线状态,且数量一致在增长,那我们想到可能是某个ip上的某个程序(恶意攻击或者客户端BUG)使用唯一的设备ID和服务端程序建立连接,写入新的客户端到后台服务器中,客户端会断开连接,然后以另一个新的客户端(设备ID)连接到后台,重复如此。那么也可以理解为频繁的和后台服务器程序握手挥手,重复着握手挥手动作。

于是在服务器上使用tcpdump -i 网卡名 -vvvv tcp port -w xxx.pcap抓取了几十秒的数据包

而后使用wireshar过滤,执行tcp.flags.fin == 1tcp.flags.syn == 1 来过滤相关数据包后,将服务器相关部署环境的ip排除后,剩下了还是有好几个ip保留了下来,使用ip.addr == xxx 发现这几个ip都在这20s内和服务器握手成功后,主动向服务器发送FIN包断开后又重新和服务器握手建立连接。

这个时候不清楚是这几个其中的哪一个ip或者哪几个ip导致的,原来想着在服务器上多抓几次包并且拉长抓包时间在进一步筛选,但前面(1)中说了有少部分增长的助手是有ip信息的,这个ip正好在刚刚过滤出来的几个ip之中。

于是抱着试试的心态,我们使用iptables -A INPUT -s ip -j DROP 来把这个ip发到服务器上的包全部丢弃掉,接着我们观察一段时间的数据库发现设备概要数量不在增长,而后使用iptables -F清空规则继续观察数据库发现设备概要数量又在增加。

至此确认了是这个ip的问题导致后台的助手(客户端)数量不断增长。要求现场同事排查这个设备是否安装了助手,还是有可疑的进程(恶意程序)。服务器暂时使用iptables添加规则阻断这个ip的数据包。(本文相关命令的ip 端口 使用其他符号代替)

相关推荐
“初生”25 分钟前
想免费使用 AWS 云服务器?注册、验证及开通全攻略
服务器·人工智能·aws
互联网搬砖老肖1 小时前
运维打铁:生产服务器用户权限管理方案全解析
运维·服务器·网络
明月看潮生2 小时前
青少年编程与数学 02-019 Rust 编程基础 23课题、web服务器
服务器·开发语言·青少年编程·rust
不愧是你呀2 小时前
深度剖析并发I/O模型select、poll、epoll与IOCP核心机制
linux·服务器·网络·windows
不会c嘎嘎3 小时前
linux初识--基础指令
linux·运维·服务器
飞飞9873 小时前
spring mvc
java·服务器·前端
网硕互联的小客服3 小时前
如何排查服务器 CPU 温度过高的问题并解决?
linux·运维·服务器·网络·安全
苹果企业签名分发4 小时前
火山引擎火山云带宽价格
服务器·火山引擎
瀚高PG实验室4 小时前
网络抓包命令tcpdump及分析工具wireshark使用
网络·wireshark·tcpdump·瀚高数据库
摆烂仙君5 小时前
怎样通过神经网络估计股票走向
linux·运维·服务器