再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
罗光记18 小时前
苹果内部 AI聊天机器人“Asa”曝光,为零售员工打造专属A
数据库·经验分享·百度·微信公众平台·新浪微博
小妖同学学AI2 天前
百度发布Comate AI IDE,我要把Cursor卸载了!
ide·人工智能·百度·ai编程
罗光记4 天前
Ubuntu 25.10 Snapshot4 发布。
数据库·百度·微信·facebook·segmentfault
嘀咕博客8 天前
SynClub-百度在海外推出的AI社交产品
人工智能·百度·ai工具
小路哥v10 天前
网站如何被搜索引擎收录(Google、Bing、百度等)
搜索引擎·百度
嘀咕博客11 天前
超级助理:百度智能云发布的AI助理应用
人工智能·百度·ai工具
北京地铁1号线13 天前
百度面试题:赛马问题
百度
陈思杰系统思考Jason13 天前
系统思考:突破复杂困境
百度·微信·微信公众平台·新浪微博·微信开放平台
大力财经14 天前
百度Q2财报:总营收327亿 AI新业务收入首次超100亿
人工智能·百度
摘星编程1 个月前
中国MCP市场:腾讯、阿里、百度的本土化实践
百度·阿里巴巴·腾讯·中国mcp市场·本土化实践