再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
2601_961194023 天前
27考研资料|免费全套|电子版
考研·百度·微信·pdf·微信公众平台·facebook·新浪微博
数据皮皮侠3 天前
全国消协智慧 315 平台投诉信息数据库
大数据·人工智能·算法·百度·制造
KaMeidebaby4 天前
卡梅德生物技术快报|抗原如何自己检测?FAdV-4 重组抗原制备与 ELISA 体系技术调试指南
前端·人工智能·物联网·算法·百度
qq7422349845 天前
从“感知”到“决断”:测评百度伐谋产业决策智能体的端到端推理与行动机制
人工智能·算法·百度·大模型·运筹优化
2601_961194025 天前
初中英语教资笔试资源|科三教案模板和知识点资料
百度·微信·微信公众平台·facebook·twitter·新浪微博
RD_daoyi8 天前
Google SEO第三周:网站站内基础优化——决定排名快慢的核心基建
大数据·人工智能·学习·搜索引擎·百度·googlecloud
KaMeidebaby9 天前
卡梅德生物技术快报|蛋白翻译后修饰:YAP/TAZ 分子调控机制与靶向干预技术
前端·人工智能·物联网·百度·新浪微博
罗光记9 天前
Solon Server 启动模式深度解析:从 0.3MB 内核到 10+ Server 插件
其他·百度·微信·微信公众平台·新浪微博
子非鱼@Itfuture9 天前
国内可直接用、免费额度/永久免费的大模型API清单(含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等)
百度·ai·aigc·个人开发
道可云10 天前
减少60%重复实验分析,道可云智能体赋能生物医药企业
百度