再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
文火冰糖的硅基工坊5 小时前
[人工智能-大模型-20]:对比 Copilot 与国产替代方案(如通义灵码、百度Comate)
人工智能·百度·copilot
陈思杰系统思考Jason10 小时前
战略选择与系统性杠杆效应
百度·微信·微信公众平台·新浪微博·微信开放平台
Jump 不二2 天前
百度 PaddleOCR 3.0 深度测评:与 MinerU 的复杂表格识别对决
人工智能·深度学习·百度·ocr
007php0072 天前
百度面试题解析:微服务架构、Dubbo、Redis及其一致性问题(一)
redis·百度·docker·微服务·容器·职场和发展·架构
熊猫钓鱼>_>4 天前
AI驱动的专业报告撰写:从信息整合到洞察生成的全新范式
大数据·人工智能·百度
AI360labs_atyun5 天前
AI教育开启新篇章
人工智能·百度·ai
一壶浊酒..7 天前
python 爬取百度图片
开发语言·python·百度
2401_865273799 天前
郑光荣:守护市井烟火
百度·facebook·paddle·新浪微博·微信开放平台
陈思杰系统思考Jason10 天前
人类真的能“控制自己”吗?
百度·微信·微信公众平台·新浪微博·微信开放平台