再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
涛涛讲AI2 天前
文心一言大模型的“三级跳”:从收费到免费再到开源,一场AI生态的重构实验
人工智能·百度·大模型·deepseek
smart_dream2 天前
如何查询网站是否被百度蜘蛛收录?
百度·网站收录
树莓集团3 天前
树莓百度百科新动态:宜宾项目的深远影响与意义
大数据·人工智能·科技·百度·媒体
百度网站快速收录3 天前
实战:如何快速让新网站被百度收录?
百度·百度收录·网站收录·百度快速收录·网站快速收录
[shenhonglei]3 天前
百度地图接入DeepSeek技术解析:AI如何重塑地图搜索体验?
人工智能·百度
黑不拉几的小白兔4 天前
Python爬虫实战案例(1)—— 爬取百度图片 及 其它网站的网页图片
爬虫·python·百度
默 语4 天前
百度搜索融合 DeepSeek 满血版,开启智能搜索新篇
百度·ai·deepseek
南风过闲庭4 天前
人工智能泡沫效应
大数据·人工智能·科技·搜索引擎·百度·ai
大力财经4 天前
百度2024年财报:全年营收1331亿元 智能云Q4同比增长26%
百度
Zhu_S W5 天前
百度智能云—千帆 ModelBuilder API的简单调用(Java)
java·百度·ai