再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
LaughingZhu3 天前
Product Hunt 每日热榜 | 2026-09-19
人工智能·深度学习·神经网络·搜索引擎·百度
LaughingZhu4 天前
Product Hunt 每日热榜 | 2026-09-20
人工智能·深度学习·神经网络·搜索引擎·百度
Ztt6666666664 天前
一抹霞红停在圆肩壶上,留白让颜色更醒目
经验分享·笔记·其他·百度·微信公众平台
Rocky Ding*6 天前
【三年面试五年模拟】2026-09-10 百度多模态大模型一面:9道技术问答与2道手撕题详解
论文阅读·人工智能·深度学习·机器学习·百度·aigc·ai-native
Ztt6666666667 天前
竹节密封罐披上紫釉,硬朗筋骨也有柔和一面
经验分享·笔记·其他·百度·微信公众平台
SXkehuirongsheng7 天前
APP定制开发怎么判断服务商的技术实力
百度·微信·app·网站建设·文心一言·微信公众平台
LaughingZhu7 天前
Product Hunt 每日热榜 | 2026-09-17
人工智能·深度学习·神经网络·搜索引擎·百度
LaughingZhu9 天前
Product Hunt 每日热榜 | 2026-09-15
人工智能·深度学习·神经网络·搜索引擎·百度
白杨SEO营销9 天前
白杨SEO:百家号APP改名,百度站长平台上线AI流量分析、百度搜索和文心接入智能体形式广告三个新变化
百度
回眸&啤酒鸭10 天前
【回眸】AI新鲜事——百度 AI 搜索实战应用场景与落地
人工智能·百度