再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
陈思杰系统思考Jason4 天前
系统思考:自由职业背后的悖论
百度·微信·微信公众平台·新浪微博·微信开放平台
陈思杰系统思考Jason5 天前
系统思考:动态性复杂时代的组织认识
百度·微信·微信公众平台·新浪微博·微信开放平台
拓端研究室6 天前
2026年人工智能AI未来报告:智能体、元宇宙、教育、商业化落地|附400+份报告PDF、数据、可视化模板汇总下载
人工智能·百度
陈思杰系统思考Jason6 天前
系统思考:战略定力与组织能力
百度·微信·微信公众平台·新浪微博·微信开放平台
陈思杰系统思考Jason8 天前
系统思考:组织能力持续学习
百度·微信·微信公众平台·新浪微博·微信开放平台
geneculture9 天前
四维矩阵分析:人机互助超级个体与超级OPC关系研究——基于HI×AI、个体×团队、个体×OPC与波士顿矩阵的整合框架
人工智能·百度
陈思杰系统思考Jason10 天前
系统思考:创办人心智模式与企业规模
百度·微信·微信公众平台·新浪微博·微信开放平台
码农杂谈000711 天前
企业人工智能:2026 避坑指南,告别工具摆设,实现 AI 价值变现
人工智能·百度
陈思杰系统思考Jason12 天前
系统思考:心智模式与组织结构
百度·微信·微信公众平台·新浪微博·微信开放平台
GISer_Jing12 天前
Horse发生,新年快乐,平安喜乐
百度·微信公众平台·新浪微博