再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
猿类崛起@6 小时前
百度千帆大模型实战:AI大模型开发的调用指南
人工智能·学习·百度·大模型·产品经理·大模型学习·大模型教程
AI2AGI20 小时前
天天AI-20250121:全面解读 AI 实践课程:动手学大模型(含PDF课件)
大数据·人工智能·百度·ai·文心一言
大懒猫软件1 天前
如何使用python技术爬取下载百度文库文档?
开发语言·python·百度
YUNDUANNET5 天前
智能新浪潮:亚马逊云科技发布Amazon Nova模型
科技·百度
java冯坚持7 天前
AI大模型开发—1、百度的千帆大模型调用(文心一言的底层模型,ENRIE等系列)、API文档目的地
人工智能·百度·文心一言
尚儒客栈7 天前
岁末随笔之人工智能(上)
人工智能·百度
AI2AGI10 天前
天天 AI-250110:今日热点-字节豆包Web端反超百度文心一言,DeepSeek也发力了|量子位智库月报
大数据·人工智能·百度·ai·aigc·文心一言
陈思杰系统思考Jason11 天前
系统思考—因果关系
百度·微信·微信公众平台·新浪微博·微信开放平台
百度Geek说13 天前
百度视频搜索架构演进
百度·架构·视频
GISDance16 天前
26考研资料分享 百度网盘
经验分享·笔记·考研·百度