日志中看到来自User Agent go-http-client / 1.1的大量请求(go-http-client 1.1)服务器爆了

在日志中看到来自User Agent go-http-client / 1.1的大量请求

The go-http-client/1.1 User Agent 是Google的Bot / Crawler

这不是真的。这可能是指Go库(根据您提到的来源,由Google开发,但是我找不到可靠的信息)。

之前写过"Go-http-client/1.1 是哪家的爬虫 这次终于知道了"这篇文章,大家可以去看看

即使它是由Google创建的,也不能说它是Google搜寻器,至少不是基于官方文档:

https://support.google.com/webmasters/answer/1061943 14

对于那些希望go-http-client在确保它不是Google搜寻器的同时阻止来自UA的请求的解决方案是创建如下防火墙规则:

(http.user_agent contains "go-http-client" and not cf.client.bot)
Cloudflare具有高级机制,该机制超越了用户代理字符串,并且可以正确执行验证,如另一本正式文档中所述:

https://support.google.com/webmasters/answer/80553 9

PS:我已经在我管理的多个站点上观察到了该UA(及其一些变体),并可以确认其行为与合法的Google搜寻器的行为不一致。

如果要阻止此UA,则可以配置用户代理阻止规则(仅完全匹配)或防火墙规则(完全/部分匹配)。

本地服务器:bt防火墙,用UA,(go-http-client)过滤就可解决。

相关推荐
张3234 小时前
Go语言基础 Map 函数值 闭包
开发语言·golang
NiceCloud喜云5 小时前
Claude Code 应用内浏览器任务怎么写验收清单
服务器·人工智能·ai
浮江雾5 小时前
Flutter第四节------核心概念学习笔记:从基础语法到异步编程
linux·服务器·开发语言·笔记·flutter·入门·基础
FoldWinCard5 小时前
D4 Linux 进程 内存 等命令
linux·运维·服务器
在线OJ的阿川5 小时前
仿muduo库实现高并发服务器
linux·服务器·c++
北冥you鱼5 小时前
Go Modules 使用指南:从入门到精通
开发语言·后端·golang
电商API_180079052475 小时前
电商ERP 自动同步订单功能实现拆解与技术手段
服务器·前端·网络·爬虫
Web极客码6 小时前
如何在WordPress中通知用户他们的评论已获批准?
服务器·wordpress·评论
山峰哥6 小时前
‌Explain实战:打开数据库执行计划的黑盒‌
大数据·服务器·数据库·sql·深度优先·宽度优先
灵机一物6 小时前
2026算力推荐进入专业化阶段:超互联品牌如何构建企业AI选型能力矩阵
服务器·人工智能·决策树·云平台