再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
道可云2 天前
制造强国新图景实践——解析《实施意见》对制造业的影响
百度·制造
Ma0407132 天前
【论文阅读16】-LLM-TSFD:一种基于大型语言模型的工业时间序列人机回路故障诊断方法
百度
YG亲测源码屋2 天前
新手做网站如何被百度快速收录教程
百度·百度收录·快速收录
罗光记3 天前
Quantinuum 发布新型量子计算机“Helios“
数据库·经验分享·其他·百度·twitter
oil欧哟3 天前
文心 5.0 来了,百度大模型的破局之战
前端·人工智能·百度·prompt
YG亲测源码屋3 天前
怎么让自己的网址被百度收录(网站如何被百度收录进去)
java·百度·dubbo
YG亲测源码屋3 天前
[SEO]什么是百度快速收录?如何优先获得快速收录权益?
百度·dubbo
GitCode官方3 天前
GitCode 同步发布百度 ERNIE-4.5-VL-28B-A3B-Thinking 多模态大模型
百度·gitcode
CoderYanger4 天前
前端基础——CSS练习项目:百度热榜实现
开发语言·前端·css·百度·html·1024程序员节
野豹商业评论4 天前
三次更名的背后:百度AI的定位困惑
人工智能·百度