再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
清微智能2 天前
清微智能携手西子洁能:以“算力+能源”驱动智算未来
百度·能源
张3蜂2 天前
PaddleOCR:全面解析百度开源的OCR王者
百度·开源·ocr
奇哥创业3 天前
百度智能体 + 网盘资料分发,新手拉新思路分享
百度·创业创新
TGC达成共识3 天前
入冬美食顶流科学尝鲜:从舌尖到健康的双重守护
科技·其他·安全·百度·生活·美食·节日
黑客思维者4 天前
2025年AI垃圾(AI Slop)现象综合研究报告:规模、影响与治理路径
人工智能·搜索引擎·百度
陈思杰系统思考Jason5 天前
系统思考:信任自然生长
百度·微信·微信公众平台·新浪微博·微信开放平台
K姐研究社6 天前
实测百度文库AI PPT制作,一键排版美化生成专业PPT
人工智能·百度·powerpoint
Coovally AI模型快速验证6 天前
YOLO-Maste开源:首个MoE加速加速实时检测,推理提速17.8%
人工智能·yolo·计算机视觉·百度·人机交互
marteker7 天前
当人工智能代理成为消费者
人工智能·搜索引擎·百度
罗光记8 天前
《人工智能安全治理研究报告(2025年)发布
数据库·其他·百度·新浪微博