蜘蛛的依旧疯狂与园子的新畅想:尝试放出被屏蔽的百度蜘蛛网段

因为看到博文 【故障公告】它(变异的百度蜘蛛)又来了,雪上加霜又加盐的三月,百度搜索部门的人昨天对园子进行了线上回访,让我们看到了一丝希望。

今天早上,带着这丝希望,我们试着放出今年3月因为过于疯狂、喜欢在别人地盘上飙车而被我们屏蔽的百度蜘蛛网段------116.179.37.0/24,看看半年之后它是否"疯"子回头,结果依旧是意料之中的疯狂依旧,"疯"性难移。

放开后,园子博客站点的 web 服务器 cpu 立马飙升,"飙"字货真价实,不带一点夸张,放开后的 cpu 是屏蔽时的三倍左右。

放开后:

屏蔽时:

这次我们专门记录了放开阶段百度蜘蛛的请求量,取 9:00-9:04 的5分钟数据看一下,请求量是 277358(27万),QPS(每秒请求数)是 924(近一千)。

面对百度蜘蛛丝毫不减的疯狂,那一丝希望瞬间一扫而光,抛开小插曲带来的失望,燃起我们的新希望。

希望在没有百度的日子里,园子的发展更加阳光。

希望在没有百度的日子里,我们能够发挥开源力量。

在被百度离开一年多的日子里,我们产生了新的畅想------待园子发展壮大后,我们会发起一个公益基金会,发起一个开源搜索引擎项目,至少给开发者提供一个没有疯狂蜘蛛、基于公平透明规则的搜索引擎。

相关推荐
字节跳动开源4 小时前
火山引擎开源 Agent 驱动的搜索自迭代技术
数据库·开源·agent
码哥字节7 小时前
0元搭了240篇文章的AI知识库,比付费版查得更准
开源·ai编程·mcp
长河8 小时前
推荐一个开源的功能开关平台:Facet
开源
山林竹笋9 小时前
人工智能领域开源TOP20(2026.06.22-2026.06.28)
人工智能·开源·大模型·智能体·技术趋势
Black_Rock_br12 小时前
打通 PyTorch Monarch 与 ROCm:单 Controller 架构的异构算力实战
人工智能·pytorch·python·开源
KaMeidebaby13 小时前
卡梅德生物技术快报|核酸适配体文库筛选:核酸适配体文库筛选全流程技术解析:NGS与AI辅助方案的设计与实践
前端·人工智能·物联网·算法·百度
在线梦游14 小时前
百度网盘不限速下载教程(最新版):免费提速方法+直链解析工具推荐
开源
网络研究院14 小时前
安卓正在变成苹果,谷歌将限制第三方应用的安装
开源·安卓·谷歌·应用·安装·限制·平台
梦想很大很大14 小时前
Synclan:一个基于局域网的即时通讯式文件传输工具
前端·后端·开源
ClickHouseDB14 小时前
ClickHouse 十年开源,今非昔比!
clickhouse·开源·apache