再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
陈思杰系统思考Jason1 小时前
系统思考—深层结构
百度·微信·微信公众平台·新浪微博·微信开放平台
生命几十年3万天20 小时前
百度的面试
百度·面试·职场和发展
Zilliz Planet4 天前
聊一聊:ChatGPT搜索引擎会取代谷歌和百度吗?
百度·chatgpt
飞桨PaddlePaddle7 天前
飞桨首创 FlashMask :加速大模型灵活注意力掩码计算,长序列训练的利器
人工智能·百度·paddlepaddle·飞桨
博洋科技7 天前
百度搜索引擎的工作原理
搜索引擎·百度·网站建设·保定响应式网站建设·保定h5网站建设·保定网站建设
文心快码 Baidu Comate7 天前
百度如何打造AI原生研发新范式?
人工智能·百度·ai编程·文心快码·智能编程助手
云空7 天前
《人工智能炒股:变革与挑战》
人工智能·机器学习·百度·知识图谱
陈思杰系统思考Jason10 天前
系统思考—啤酒游戏经营决策沙盘
百度·微信·微信公众平台·新浪微博·微信开放平台
招商小话匣11 天前
百度搜索推广和信息流推广的区别,分别适用于什么场景!
百度