再次尝试放出被屏蔽的百度蜘蛛网段

昨天发布的博文蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段引起了百度的关注,晚上联系了我们,经过商量达成一个解决方法------百度会限制一下蜘蛛抓取时的最高QPS。

今天晚上 18:16:13,我们再次尝试放出被屏蔽的百度蜘蛛网段 116.179.37.0/24,一看 CPU 波动情况,就知道应该是被百度限制住了。

观察了一段时间,pod 的 cpu 占用基本都在 3000m 以内,而且很平稳。

19:00-20:00 期间这个网段的蜘蛛一个产生了 601395 个请求,平均下来 QPS 在 160 左右,疯狂的蜘蛛终于温和了下来,让人都觉得有点不习惯。

还需要继续观察一段时间,看蜘蛛是否真的痛改前"疯",持续地保持温和。

接下来最关键的问题是搜索排名是否能逐步恢复,以及需要多长时间才能恢复。

相关推荐
趣味科技v1 天前
当人工智能遇上科研:AI4S开启未来科技新篇章
人工智能·科技·搜索引擎·百度
熊猫钓鱼>_>1 天前
ERNIE-Image 深度测评:百度 8B 小模型如何撼动文生图格局
百度·ai·大模型·llm·ernie·image·图像生成
zopple1 天前
逆向破解百度搜索算法
百度
岁月漫长_3 天前
【语音合成】百度tts调用
百度·dubbo
墨澜逸客4 天前
华胥祭坛志---文/墨澜逸客
开发语言·深度学习·学习·百度·php·学习方法·新浪微博
无心水4 天前
13、云端OCR终极指南|百度/阿里/腾讯API高精度文字提取实战
百度·架构·pdf·ocr·dubbo·pdf解析·pdf抽取
墨澜逸客5 天前
《华胥文化》百回大纲
学习·其他·百度·学习方法·新浪微博
biotechbd5 天前
TSHR蛋白|甲状腺甲亢核心靶点 结构功能与CHO稳定表达方案
百度·微信·微信公众平台
csdn_aspnet5 天前
百度搜索算法逆向思考:SEO工程师的反推与博弈
百度·seo·搜索
青茶3607 天前
pbootcms系统添加百度竞价标识参数后页面打不开报404错误
百度·url·pbootcms·链接参数