再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
MILI元宇宙13 分钟前
百度文心4.5 Turbo与DeepSeek、豆包、元宝对比:技术路径与市场格局分析
百度
飞桨PaddlePaddle7 小时前
Wan2.1和HunyuanVideo文生视频模型算法解析与功能体验丨前沿多模态模型开发与应用实战第六期
人工智能·算法·百度·音视频·paddlepaddle·飞桨·deepseek
北屿升:2 天前
星火燎原:Spark技术如何重塑大数据处理格局
百度·微信·微信公众平台·facebook·新浪微博
北屿升:4 天前
Spark SQL核心解析:大数据时代的结构化处理利器
百度·微信·新浪微博
chuangfumao8 天前
解读《人工智能指数报告 2025》:洞察 AI 发展新态势
人工智能·搜索引擎·百度
百度Geek说9 天前
名列前茅!百度文心大模型4.5及X1在中国信通院“方升”大模型基准测试中表现优异
百度
风雅颂FYS10 天前
C# 经纬度坐标的精度及WGS84(谷歌)、GCJ02(高德)、BD09(百度)坐标相互转换(含高精度转换)
百度·c#
百度Geek说11 天前
飞桨新一代框架3.0正式发布:加速大模型时代的技术创新与产业应用
百度·百度飞桨
北屿升:12 天前
spark core
百度·微信·微信公众平台·facebook·新浪微博
urhero17 天前
在Python软件中集成智能体:以百度文心一言和阿里通义千问为例
python·百度·文心一言