再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
摘星编程9 天前
中国MCP市场:腾讯、阿里、百度的本土化实践
百度·阿里巴巴·腾讯·中国mcp市场·本土化实践
市象9 天前
百度智能云给“数字人”发工牌
百度
白杨SEO营销11 天前
白杨SEO:百度搜索开放平台发布AI计划是什么?MCP网站红利来了?顺带说说其它
人工智能·百度
倔强的石头10612 天前
[源力觉醒 创作者计划]_文心4.5开源测评:国产大模型的技术突破与多维度能力解析
百度·开源·文心一言·文心大模型
数据知道12 天前
百度翻译详解:包括PaddleNLP、百度AI开放平台、接口逆向(包括完整代码)
人工智能·百度·语言模型·自然语言处理·机器翻译
下页、再停留15 天前
【PHP】接入百度AI开放平台人脸识别API,实现人脸对比
人工智能·百度·php
京东零售技术15 天前
京东零售在智能供应链领域的前沿探索与技术实践
人工智能·百度·零售
高hongyuan19 天前
搜索引擎高级搜索指令大全(Google、百度等浏览器通用)
搜索引擎·百度·google
趣味科技v19 天前
WAIC直击:百度慧播星发布新一代数字人技术NOVA
百度