再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
LaughingZhu2 天前
Product Hunt 每日热榜 | 2026-07-21
搜索引擎·百度
小码哥哥4 天前
百度开发者中心软文_企业AI知识库的价值
人工智能·百度
温柔过期啦6 天前
网站改了标题但是搜索引擎却没改?怎么样才能快速更新?
前端·搜索引擎·百度
TlSfoward7 天前
TLSFOWARD抓包工具 TLS指纹
网络协议·http·百度·https
李杰SEO7 天前
百度收录底层逻辑与软文优化全攻略
百度
TMT星球8 天前
浦东新区与阅文集团携手,人工智能文创产业基地揭牌启用
人工智能·百度
一次旅行10 天前
AI 前沿日报 | 2026年7月13日
人工智能·搜索引擎·百度
我爱吃土豆112 天前
AI Agent 的工作原理:从大模型问答到自主执行任务
人工智能·搜索引擎·百度·agent
指针阿飞12 天前
百度管培生笔试非技术岗笔试校招笔试攻略|题库分享
百度·求职招聘
TMT星球14 天前
2026中国互联网大会医疗AI分论坛举办,轻松健康发布“证音”并落地多个战略合作
人工智能·搜索引擎·百度