再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
AABBCC1033 小时前
城市天际线2/都市天际线2/Cities: Skylines ll(更新:v1.4.2f1)
百度
wan55cn@126.com8 小时前
人生如戏:换个片场,继续出演
人工智能·笔记·百度·微信
Apache Flink12 小时前
Apache Flink 2.2.0: 推动实时数据与人工智能融合,赋能AI时代的流处理
人工智能·搜索引擎·百度·flink·apache
zhaodiandiandian1 天前
人工智能与就业重构:机遇、挑战与政策应对
人工智能·百度·重构
罗光记1 天前
Solon AI 开发学习6- chat- 两种http 流式输入输出
数据库·百度·facebook·新浪微博·segmentfault
物联网软硬件开发-轨物科技2 天前
【轨物交流】杭州市科协走进轨物科技 共探“人工智能+X”创新应用
百度
文心快码BaiduComate2 天前
CCF程序员大会码力全开:AI加速营决赛入围名单揭晓,12月6日大理见!
前端·百度·程序员
陈思杰系统思考Jason3 天前
业务创新与系统思考
百度·微信·微信公众平台·新浪微博·微信开放平台
申耀的科技观察4 天前
【观察】为AI就绪筑基,为产业智能引路,联想凌拓铺就AI规模化落地通途
人工智能·百度
liugang_lawyer5 天前
防范新型金融诈骗
笔记·百度·微信·金融·微信公众平台·新浪微博