日志中看到来自User Agent go-http-client / 1.1的大量请求(go-http-client 1.1)服务器爆了

在日志中看到来自User Agent go-http-client / 1.1的大量请求

The go-http-client/1.1 User Agent 是Google的Bot / Crawler

这不是真的。这可能是指Go库(根据您提到的来源,由Google开发,但是我找不到可靠的信息)。

之前写过"Go-http-client/1.1 是哪家的爬虫 这次终于知道了"这篇文章,大家可以去看看

即使它是由Google创建的,也不能说它是Google搜寻器,至少不是基于官方文档:

https://support.google.com/webmasters/answer/1061943 14

对于那些希望go-http-client在确保它不是Google搜寻器的同时阻止来自UA的请求的解决方案是创建如下防火墙规则:

(http.user_agent contains "go-http-client" and not cf.client.bot)
Cloudflare具有高级机制,该机制超越了用户代理字符串,并且可以正确执行验证,如另一本正式文档中所述:

https://support.google.com/webmasters/answer/80553 9

PS:我已经在我管理的多个站点上观察到了该UA(及其一些变体),并可以确认其行为与合法的Google搜寻器的行为不一致。

如果要阻止此UA,则可以配置用户代理阻止规则(仅完全匹配)或防火墙规则(完全/部分匹配)。

本地服务器:bt防火墙,用UA,(go-http-client)过滤就可解决。

相关推荐
为思念酝酿的痛5 小时前
POSIX信号量
linux·运维·服务器·后端
小羊在睡觉5 小时前
力扣84. 柱状图中最大的矩形
后端·算法·leetcode·golang·go
隔窗听雨眠6 小时前
Nginx网关响应慢排查手记
java·服务器·nginx
人还是要有梦想的6 小时前
linux下用搜狗输入法,中英文切换
linux·运维·服务器
9分钟带帽6 小时前
linux_通过NFS挂载远程服务器的硬盘
linux·服务器
迷枫7128 小时前
DM8 目录结构与常用排查入口梳理
服务器·数据库
weixin_394758039 小时前
CRMEB 会员电商系统PRO系统安装之宝塔安装教程-新手推荐(软件管理)
服务器·阿里云
s_w.h10 小时前
【 linux 】动静态库的制作
linux·运维·服务器·算法·bash
专注VB编程开发20年10 小时前
安卓APP与服务器通讯技术,文件传输和文字消息收发
运维·服务器
信息安全失业大专人员11 小时前
HTTP/HTTPS 协议精髓与 WAF(Web 应用防火墙)架构防线大底座
web安全·http·信息安全·https·企业信息安全