技术性屏蔽百度爬虫已经一周了!

很久前明月就发现百度爬虫只抓取、只收录就是不给流量了,加上百度搜索体验越来越差,反正明月已经很久没有用过百度搜索,目前使用的浏览器几乎默认搜索都已经修改成其他搜索引擎了,真要搜索什么,一般都是必应+谷歌结合着使用。所以就一直在纠结要不好屏蔽百度爬虫,上周借助 CloudFlare 的【随机加密】先技术性的屏蔽百度爬虫了。

说起来比较好笑都 2024 年了,早就号称支持 HTTPS 的百度爬虫竟然不支持【随机加密 】(可参考【使用 CloudFlare 后百度抓取诊断抓取失败的解决办法】一文),就是这么神奇!

所以我这个所谓的技术性屏蔽百度爬虫说白了就是开启【随机加密】,让百度的爬虫抓取出现报错,今天又继续在 robots.txt 里屏蔽百度爬虫:

复制代码
User-agent: Baiduspider
Disallow: / 
User-agent: Baiduspider-image
Disallow: /

说实话,百度爬虫真的很 low,既然你都不给我流量,我也就没有"供养"你的必要了,反正我现在的感觉就是百度爬虫一直在利用网站养他的 AI,这是我不能接受的,所以必须屏蔽拦截掉。

相关推荐
q***31832 分钟前
爬虫基础之爬取某基金网站+数据分析
爬虫·数据挖掘·数据分析
嫂子的姐夫4 小时前
23-MD5+DES+Webpack:考试宝
java·爬虫·python·webpack·node.js·逆向
HoneyMoose5 小时前
AI Bot 爬虫新势力
人工智能·爬虫
Miku1613 小时前
LangGraph+BrightData+PaperSearch的研究助理
爬虫·langchain·mcp
自学互联网13 小时前
python爬虫入门案例day05:Pexels
开发语言·爬虫·python
star_start_sky21 小时前
住宅代理网络:我最近用来数据采集和自动化的小工具
网络·爬虫·自动化
大力财经1 天前
百度开启AI新纪元,让智能从成本变成超级生产力
人工智能·百度
小小鱼儿小小林1 天前
百度世界 2025 核心看点:文心 5.0、萝卜快跑、惠博星数字人、伐谋智能体齐亮相!
百度·数字人·千帆·百度世界
DisonTangor1 天前
【百度拥抱开源】介绍ERNIE-4.5-VL-28B-A3B-Thinking:多模态AI的重大突破
人工智能·百度·语言模型·开源·aigc
小尘要自信1 天前
【详细步骤解析】爬虫小练习——爬取豆瓣Top250电影,最后以csv文件保存,附源码
爬虫