腾讯云日志服务根据网段过滤非法数据

这个 SQL 语句使用了正则表达式和 regexp_replace 函数来对 client_ip 进行处理,并统计处理后的 IP 地址出现的次数。具体解释如下:

SQL 语句结构

sql 复制代码
select 
    regexp_replace(client_ip, '^((\d+?\.){3})\d+$', '$10/24') as ips, 
    count(1) as num 
from table_name 
where http_code = 403 
group by ips 
having num > 8000 
order by num desc 
limit 10000;
复制代码
•	regexp_replace(client_ip, '^((\d+?\.){3})\d+$', '$10/24'):
•	这个函数使用正则表达式将 IP 地址的最后一部分替换为 /24 网络段。
•	'^((\d+?\.){3})\d+$':
•	^: 表示从字符串的开头开始匹配。
•	(\d+?\.){3}: 匹配 IP 地址前三段的数字和点。\d+? 表示匹配一个或多个数字,\. 表示匹配点符号,这个部分匹配三次。
•	\d+: 匹配 IP 地址的最后一段数字。
•	$: 表示匹配字符串结尾。
•	'$10/24':
•	$1: 表示匹配到的前三段 IP 地址,例如 192.168.0.。
•	0/24: 将 IP 的最后一段数字替换为 0/24,代表对应的网络段。
•	整个操作会将 IP 地址 192.168.1.15 转换为 192.168.1.0/24。
•	count(1) as num: 统计相同处理后 IP 出现的次数。
•	from table_name: 假设的表名是 table_name,从该表中查询数据。
•	where http_code = 403: 只选择 HTTP 响应码为 403 的记录(即禁止访问的请求)。
•	group by ips: 根据处理后的 ips 进行分组,以统计每个网络段的请求次数。
•	having num > 8000: 过滤出请求次数超过 8000 次的网络段。
•	order by num desc: 按照请求次数从多到少排序。
•	limit 10000: 最多返回 10000 条记录。

详细解释

复制代码
•	这个 SQL 查询的目标是识别出请求频繁出现 HTTP 403 禁止访问 的 IP 段。
•	通过 regexp_replace 函数,将 client_ip 的最后一段数字替换成 0/24,将同一网络段的 IP 归为同一类。
•	然后,使用 count(1) 统计每个 /24 子网的请求次数。
•	最后,通过 having num > 8000 过滤出请求次数超过 8000 次的 IP 段,并按次数降序排列,返回最多 10000 个结果。

正则表达式解释

复制代码
•	'^((\d+?\.){3})\d+$':
•	^: 匹配字符串的开头。
•	(\d+?\.){3}: 匹配 IP 地址前三段的形式,例如 192.168.0.,\d+? 表示匹配一个或多个数字,\. 表示匹配点符号。{3} 表示前三段匹配三次。
•	\d+: 匹配最后一段的数字。
•	$: 表示匹配字符串的结尾。
•	'$10/24':
•	$1: 引用正则表达式中的捕获组 ((\d+?\.){3}),也就是前三段的 IP 地址部分。
•	0/24: 将最后一段替换为 0/24,表示网络段。

总结

这段 SQL 代码的作用是找到出现 HTTP 403 错误并且请求次数特别多的 IP 网络段(按 /24 子网计算),这可能用于分析可能的恶意流量或访问控制的异常行为。

相关推荐
Three~stone13 小时前
MySQL学习集--DDL
数据库·sql·学习
你觉得20514 小时前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
久违の欢喜14 小时前
《云端变革:云计算重塑现代企业架构的实践之路》
架构·云计算
Linux运维老纪14 小时前
运维之 Centos7 防火墙(CentOS 7 Firewall for Operations and Maintenance)
linux·安全·centos·云计算·运维开发·火绒
XiaoLeisj15 小时前
【MyBatis】深入解析 MyBatis XML 开发:增删改查操作和方法命名规范、@Param 重命名参数、XML 返回自增主键方法
xml·java·数据库·spring boot·sql·intellij-idea·mybatis
yuzhangfeng1 天前
【云计算物理网络】从传统网络到SDN:云计算的网络演进之路
网络·云计算
Yan-英杰1 天前
【百日精通JAVA | SQL篇 | 第二篇】数据库操作
服务器·数据库·sql
ZStack开发者社区1 天前
全球化2.0 | ZStack举办香港Partner Day,推动AIOS智塔+DeepSeek海外实践
人工智能·云计算
百代繁华一朝都-绮罗生1 天前
检查是否存在占用内存过大的SQL
数据库·sql
橙序研工坊1 天前
MySQL的进阶语法7(索引-B+Tree 、Hash、聚集索引 、二级索引(回表查询)、索引的使用及设计原则
数据库·sql·mysql