蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段

因为看到博文 【故障公告】它(变异的百度蜘蛛)又来了,雪上加霜又加盐的三月,百度搜索部门的人昨天对园子进行了线上回访,让我们看到了一丝希望。

今天早上,带着这丝希望,我们试着放出今年3月因为过于疯狂、喜欢在别人地盘上飙车而被我们屏蔽的百度蜘蛛网段------116.179.37.0/24,看看半年之后它是否"疯"子回头,结果依旧是意料之中的疯狂依旧,"疯"性难移。

放开后,园子博客站点的 web 服务器 cpu 立马飙升,"飙"字货真价实,不带一点夸张,放开后的 cpu 是屏蔽时的三倍左右。

放开后:

屏蔽时:

这次我们专门记录了放开阶段百度蜘蛛的请求量,取 9:00-9:04 的5分钟数据看一下,请求量是 277358(27万),QPS(每秒请求数)是 924(近一千)。

面对百度蜘蛛丝毫不减的疯狂,那一丝希望瞬间一扫而光,抛开小插曲带来的失望,燃起我们的新希望。

希望在没有百度的日子里,园子的发展更加阳光。

希望在没有百度的日子里,我们能够发挥开源力量。

在被百度离开一年多的日子里,我们产生了新的畅想------待园子发展壮大后,我们会发起一个公益基金会,发起一个开源搜索引擎项目,至少给开发者提供一个没有疯狂蜘蛛、基于公平透明规则的搜索引擎。

相关推荐
冬奇Lab6 小时前
每日一个开源项目(第152篇):SAG - 用 SQL JOIN 代替 PageRank 做多跳 RAG 检索
人工智能·开源
机智的张尼玛9 小时前
我基于 Kotlin Multiplatform 实现了一套跨平台的弱网离线同步引擎
android·开源·kotlin
IvorySQL12 小时前
PG 技术日报|2026-07-04
数据库·人工智能·postgresql·开源
IvorySQL13 小时前
IvorySQL HTAP 实时湖仓接入引擎
数据库·postgresql·开源·htap·ivorysql
饼干哥哥13 小时前
我开发了一个「吃掉」别人Skill来升级的饕餮.Skill,现在免费开源
人工智能·设计模式·开源
SelectDB16 小时前
快手 AB 场景提速 145 倍,从 Spark 到 Apache Doris 的加速实践
数据库·spark·开源
小弥儿16 小时前
GitHub今日热榜 | 2026-07-05:阿里巴巴浏览器Agent上榜
学习·开源·github
Databuff18 小时前
国产开源APM databuff 成为 CNCF 顶级项目opentelemetry 官宣Vendor
运维·开源·skywalking·apm·可观测性·opentelemetry
搬砖柯20 小时前
系列12-接口压测怎么做成平台能力?自研 httpx 引擎、分布式 Worker 与 Locust 选型对照
分布式·测试工具·性能优化·开源·自动化·httpx
workflower1 天前
设备单元级(L1)实施路径
人工智能·线性代数·矩阵·机器人·开源