昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。
今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24
,一看 CPU 波动情况,就知道应该是被百度限制住了。
观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。
19:00-20:00 期间这个网段的蜘蛛一个产生了 601395
个请求,平均下来 QPS 在 160
左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。
还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。
接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。