日志中看到来自User Agent go-http-client / 1.1的大量请求(go-http-client 1.1)服务器爆了

在日志中看到来自User Agent go-http-client / 1.1的大量请求

The go-http-client/1.1 User Agent 是Google的Bot / Crawler

这不是真的。这可能是指Go库(根据您提到的来源,由Google开发,但是我找不到可靠的信息)。

之前写过"Go-http-client/1.1 是哪家的爬虫 这次终于知道了"这篇文章,大家可以去看看

即使它是由Google创建的,也不能说它是Google搜寻器,至少不是基于官方文档:

https://support.google.com/webmasters/answer/1061943 14

对于那些希望go-http-client在确保它不是Google搜寻器的同时阻止来自UA的请求的解决方案是创建如下防火墙规则:

(http.user_agent contains "go-http-client" and not cf.client.bot)
Cloudflare具有高级机制,该机制超越了用户代理字符串,并且可以正确执行验证,如另一本正式文档中所述:

https://support.google.com/webmasters/answer/80553 9

PS:我已经在我管理的多个站点上观察到了该UA(及其一些变体),并可以确认其行为与合法的Google搜寻器的行为不一致。

如果要阻止此UA,则可以配置用户代理阻止规则(仅完全匹配)或防火墙规则(完全/部分匹配)。

本地服务器:bt防火墙,用UA,(go-http-client)过滤就可解决。

相关推荐
行云流水剑23 分钟前
【学习记录】在 Ubuntu 中将新硬盘挂载到 /home 目录的完整指南
服务器·学习·ubuntu
搬码临时工1 小时前
如何把本地服务器变成公网服务器?内网ip网址转换到外网连接访问
运维·服务器·网络·tcp/ip·智能路由器·远程工作·访问公司内网
鳄鱼杆2 小时前
服务器 | Centos 9 系统中,如何部署SpringBoot后端项目?
服务器·spring boot·centos
栗子叶2 小时前
两种Https正向代理的实现原理
网络协议·http·https·正向代理
weixin_461259413 小时前
[C]C语言日志系统宏技巧解析
java·服务器·c语言
m0_637146933 小时前
C语言基础面试问答
运维·服务器
Clownseven4 小时前
SSH/RDP无法远程连接?腾讯云CVM及通用服务器连接失败原因与超全排查指南
服务器·ssh·腾讯云
ricky_fan4 小时前
window下配置ssh免密登录服务器
运维·服务器·ssh
2401_858286114 小时前
OS11.【Linux】vim文本编辑器
linux·运维·服务器·编辑器·vim