再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
百度智能云1 天前
百度智能云千帆携手联想,共创MCP生态宇宙
百度
陈思杰系统思考Jason1 天前
第五项修炼:打造学习型组织
百度·微信·微信公众平台·新浪微博·微信开放平台
OJAC近屿智能2 天前
ChatGPT再升级!
大数据·人工智能·百度·chatgpt·近屿智能
不爱吃饭爱吃菜3 天前
uniapp微信小程序-长按按钮百度语音识别回显文字
前端·javascript·vue.js·百度·微信小程序·uni-app·语音识别
资深の小白3 天前
一个基于 Spring Boot 的实现,用于代理百度 AI 的 OCR 接口
人工智能·spring boot·百度
陈思杰系统思考Jason5 天前
系统平衡与企业挑战
百度·微信·微信公众平台·新浪微博·微信开放平台
空中湖5 天前
中国人工智能智能体研究报告
搜索引擎·百度
程序员的世界你不懂6 天前
数据处理专题(十三)
经验分享·百度
白杨SEO营销11 天前
白杨SEO:如何查看百度、抖音、微信、微博、小红书、知乎、B站、视频号、快手等7天内最热门话题及流量关键词有哪些?使用方法和免费工具推荐以及注意事项【干货】
百度
学渣6765616 天前
多模态人工智能研究:视觉语言模型的过去、现在与未来
搜索引擎·计算机视觉·百度·多模态