服务器异常数据问题解决 工具(tcpdump+wireshark+iptables)

问题:

某天一客户反馈,后台页面上显示的设备数据异常增长。现场实际只有2w+台设备安装了助手(客户端),但是后台显示有16w+的助手设备,并且还在持续且快速的增长。这些数据会被加载到缓存,时间久了,服务端程序内存会占用很多,并且数据库一直增加一些无用数据可能导致cpu占用高,以及页面查询卡顿。

处理流程:

我们远程后netstat -naop|grep port|wc -l 看到实际上在线的也只是8000台设备,查看页面的增长的这些助手信息,发现都是一些离线的客户端,且大部分没有ip mac信息,少部分有ip mac信息(1)。

说明:设备ID标识着每一个唯一的客户端,客户端使用这个唯一标识和后台服务端程序连接,服务端程序不允许同一时间两个相同设备id的程序连上来

对此,第一想到的是会不会是我们提供给测试同事用的测试工具,即模拟新助手(客户端)上报的工具在服务器环境使用,和相关维护的同事确认后,在服务器上进行查找,也没有找这个测试工具。由于这些助手都是离线状态,且数量一致在增长,那我们想到可能是某个ip上的某个程序(恶意攻击或者客户端BUG)使用唯一的设备ID和服务端程序建立连接,写入新的客户端到后台服务器中,客户端会断开连接,然后以另一个新的客户端(设备ID)连接到后台,重复如此。那么也可以理解为频繁的和后台服务器程序握手挥手,重复着握手挥手动作。

于是在服务器上使用tcpdump -i 网卡名 -vvvv tcp port -w xxx.pcap抓取了几十秒的数据包

而后使用wireshar过滤,执行tcp.flags.fin == 1tcp.flags.syn == 1 来过滤相关数据包后,将服务器相关部署环境的ip排除后,剩下了还是有好几个ip保留了下来,使用ip.addr == xxx 发现这几个ip都在这20s内和服务器握手成功后,主动向服务器发送FIN包断开后又重新和服务器握手建立连接。

这个时候不清楚是这几个其中的哪一个ip或者哪几个ip导致的,原来想着在服务器上多抓几次包并且拉长抓包时间在进一步筛选,但前面(1)中说了有少部分增长的助手是有ip信息的,这个ip正好在刚刚过滤出来的几个ip之中。

于是抱着试试的心态,我们使用iptables -A INPUT -s ip -j DROP 来把这个ip发到服务器上的包全部丢弃掉,接着我们观察一段时间的数据库发现设备概要数量不在增长,而后使用iptables -F清空规则继续观察数据库发现设备概要数量又在增加。

至此确认了是这个ip的问题导致后台的助手(客户端)数量不断增长。要求现场同事排查这个设备是否安装了助手,还是有可疑的进程(恶意程序)。服务器暂时使用iptables添加规则阻断这个ip的数据包。(本文相关命令的ip 端口 使用其他符号代替)

相关推荐
Rsingstarzengjx2 小时前
搭建Jenkins gitlab 环境
运维·服务器
爱倒腾的老唐5 小时前
07、Linux 文件管理
linux·运维·服务器
江湖伤心人6 小时前
MCP(trae)+ wireshark-提高干活效率
wireshark·mcp
心灵宝贝6 小时前
libopenssl1_0_0-1.0.2p-3.49.1.x86_64安装教程(RPM包手动安装步骤+依赖解决附安装包下载)
linux·运维·服务器
数据知道7 小时前
Go语言:数据压缩与解压详解
服务器·开发语言·网络·后端·golang·go语言
未来之窗软件服务8 小时前
操作系统应用开发(二十三)RustDesk ng反向代理—东方仙盟筑基期
服务器·远程桌面·仙盟创梦ide·东方仙盟·rustdek
未来之窗软件服务10 小时前
操作系统应用开发(二十四)RustDesk 404错误—东方仙盟筑基期
服务器·远程桌面·仙盟创梦ide·东方仙盟·rustdek
zwhy031111 小时前
TCP服务器设计思路
linux·服务器·网络
YongCheng_Liang11 小时前
Linux 基础命令的 7 大核心模块
linux·运维·服务器
Madison-No713 小时前
【Linux】基础开发工具---yum / apt
linux·运维·服务器