再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
深眸财经1 天前
从商汤科技年报,看一家AI企业的确定性叙事
人工智能·科技·百度
蜂耘2 天前
百度萝卜快跑能成为全球无人驾驶出行市场主导者吗?
百度·汽车
itwangyang5202 天前
人工智能在生物医药领域的应用地图:AIBC2025将于6月在上海召开!
人工智能·百度
飞桨PaddlePaddle2 天前
飞桨PP系列新成员PP-DocLayout开源,版面检测加速大模型数据构建,超百页文档图像一秒搞定
人工智能·百度·paddlepaddle·飞桨·deepseek
北屿升:2 天前
Scala:大数据时代的多面手
百度·微信·微信公众平台·facebook·新浪微博
百度Geek说4 天前
秒哒首发即爆发!上线首日吸引2万用户,打造3万应用!
百度
程序员的世界你不懂5 天前
axios基础入门教程
经验分享·百度
技能咖7 天前
“人工智能+”新赛道与生成式人工智能(GAI)认证:驱动未来竞争力的双引擎
人工智能·百度
高校网站建设群系统EduCMS9 天前
百度SEO和必应SEO优化方法
百度
百度Geek说11 天前
图灵数据洞察平台-TDF(Turing Data Finder)
百度·数据分析