日志中看到来自User Agent go-http-client / 1.1的大量请求(go-http-client 1.1)服务器爆了

在日志中看到来自User Agent go-http-client / 1.1的大量请求

The go-http-client/1.1 User Agent 是Google的Bot / Crawler

这不是真的。这可能是指Go库(根据您提到的来源,由Google开发,但是我找不到可靠的信息)。

之前写过"Go-http-client/1.1 是哪家的爬虫 这次终于知道了"这篇文章,大家可以去看看

即使它是由Google创建的,也不能说它是Google搜寻器,至少不是基于官方文档:

https://support.google.com/webmasters/answer/1061943 14

对于那些希望go-http-client在确保它不是Google搜寻器的同时阻止来自UA的请求的解决方案是创建如下防火墙规则:

(http.user_agent contains "go-http-client" and not cf.client.bot)
Cloudflare具有高级机制,该机制超越了用户代理字符串,并且可以正确执行验证,如另一本正式文档中所述:

https://support.google.com/webmasters/answer/80553 9

PS:我已经在我管理的多个站点上观察到了该UA(及其一些变体),并可以确认其行为与合法的Google搜寻器的行为不一致。

如果要阻止此UA,则可以配置用户代理阻止规则(仅完全匹配)或防火墙规则(完全/部分匹配)。

本地服务器:bt防火墙,用UA,(go-http-client)过滤就可解决。

相关推荐
pumpkin8451416 小时前
Go 学习全景引子:理解设计理念与工程思路
python·学习·golang
掘根16 小时前
【仿Muduo库项目】HTTP模块3——HttpContext子模块
网络·网络协议·http
瓦尔登湖懒羊羊16 小时前
到底能不能把HTTP1.0讲明白了
http
像风一样自由16 小时前
android native 中的函数动态注册方式总结
android·java·服务器·安卓逆向分析·native函数动态注册·.so文件分析
DICOM医学影像17 小时前
7. go语言从零实现以太坊请求端 - 查询区块链账户余额 - 手写JSONRPC
golang·区块链·以太坊·web3.0·jsonrpc·从零实现以太坊
小李独爱秋17 小时前
计算机网络经典问题透视:TLS协议工作过程全景解析
运维·服务器·开发语言·网络协议·计算机网络·php
阿甘正赚.18 小时前
Linux初学
linux·运维·服务器
CLOUD ACE18 小时前
谷歌云服务商 | 借助 BigQuery 完全托管的远程 MCP 服务器,更快地构建数据分析代理
运维·服务器
pumpkin8451418 小时前
Go 基础语法全景
开发语言·后端·golang
Xの哲學18 小时前
Linux epoll 深度剖析: 从设计哲学到底层实现
linux·服务器·网络·算法·边缘计算