再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
陈思杰系统思考Jason13 小时前
系统思考与组织效率
百度·微信·微信公众平台·新浪微博·微信开放平台
marteker2 天前
IAB致力于实现可互操作的媒体测量标准化
搜索引擎·百度·媒体
狒狒热知识3 天前
破局同质化内卷:爱玛2026马年营销,以热爱为刃,铸就行业年轻化标杆
百度·产品运营·营销
zandy10113 天前
AI驱动全球销售商机管理:钉钉DingTalk A1的跨域管理智能解决方案
人工智能·百度·钉钉
陈思杰系统思考Jason3 天前
系统问题误作态度问题
百度·微信·微信公众平台·新浪微博·微信开放平台
屁股割了还要学4 天前
百度网盘网页免vip ---> 高清晰度 + 字幕
经验分享·百度
生活观察站4 天前
新华网×赛迪网双重肯定:销售易AI CRM入选“AI中国”生态范式集
人工智能·百度
D11_5 天前
[特殊字符]️ 5379工具箱 - 全部网站链接汇总
服务器·百度·阿里云·typescript·编辑器