再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
陈思杰系统思考Jason1 天前
系统思考:短期反馈与长期后果的冲突
百度·微信·微信公众平台·新浪微博·微信开放平台
AI产品库1 天前
百度文心快码最新评测:功能、应用与实战全攻略-AI产品库
人工智能·百度
学习研习社2 天前
2025年软件开发中的人工智能:从探索到问责——基于调查的分析
人工智能·百度
道可云2 天前
2026年企业AI应用演进趋势与CIO布局策略
人工智能·百度
QQ_4376643142 天前
常见问题及回答2
百度
biotechbd2 天前
N15标记蛋白表达策略-卡梅德生物
百度·微信公众平台·微信开放平台
semantist@语校3 天前
第五十八篇|从城市节律到制度密度:近畿日本语学院的数据建模与关西语校结构工程
大数据·服务器·数据库·人工智能·百度·ai·知识图谱
互联网志4 天前
交通运输行业作为人工智能落地领域,是一个庞大的人工智能应用场景
人工智能·百度
陈思杰系统思考Jason4 天前
系统思考与业务协同
百度·微信·微信公众平台·新浪微博·微信开放平台
weilaikeqi11115 天前
汪喵灵灵荣获“兴智杯”全国AI创新应用大赛一等奖,彰显AI宠物医疗硬实力
人工智能·百度·宠物