技术性屏蔽百度爬虫已经一周了!

很久前明月就发现百度爬虫只抓取、只收录就是不给流量了,加上百度搜索体验越来越差,反正明月已经很久没有用过百度搜索,目前使用的浏览器几乎默认搜索都已经修改成其他搜索引擎了,真要搜索什么,一般都是必应+谷歌结合着使用。所以就一直在纠结要不好屏蔽百度爬虫,上周借助 CloudFlare 的【随机加密】先技术性的屏蔽百度爬虫了。

说起来比较好笑都 2024 年了,早就号称支持 HTTPS 的百度爬虫竟然不支持【随机加密 】(可参考【使用 CloudFlare 后百度抓取诊断抓取失败的解决办法】一文),就是这么神奇!

所以我这个所谓的技术性屏蔽百度爬虫说白了就是开启【随机加密】,让百度的爬虫抓取出现报错,今天又继续在 robots.txt 里屏蔽百度爬虫:

User-agent: Baiduspider
Disallow: / 
User-agent: Baiduspider-image
Disallow: /

说实话,百度爬虫真的很 low,既然你都不给我流量,我也就没有"供养"你的必要了,反正我现在的感觉就是百度爬虫一直在利用网站养他的 AI,这是我不能接受的,所以必须屏蔽拦截掉。

相关推荐
blues_C39 分钟前
Python爬虫技术与反爬虫策略
爬虫·python·网络爬虫·反爬虫策略
哇咔咔哇咔9 小时前
【Python爬虫】爬取名人名言页面并进行简单的数据清洗(入门级)
开发语言·爬虫·python
程序员小王꧔ꦿ10 小时前
python爬虫入门到精通路线
开发语言·爬虫·python
百度安全11 小时前
百度大模型安全荣获2024世界智能产业博览会“Find智能科技创新应用典型案例”
科技·安全·百度
懂电商API接口的Jennifer15 小时前
爬取电商商品详情数据的经验分享(数据已封装API可调用)
数据库·爬虫·网络爬虫
Python_Alex18 小时前
Python爬取中国天气网天气数据.
开发语言·爬虫·python·学习
不知道写什么的作者18 小时前
看小说?笔趣阁?你是怎么爬取的?
爬虫·python·正则表达式
Strengthen_沈18 小时前
爬虫:爬取知乎热榜一级评论及回答2024不包含翻页
爬虫
杂记铺19 小时前
python爬虫之12306模拟登陆
数据库·爬虫·python
专注VB编程开发20年21 小时前
vb6多线程异步,VB.NET 全用API实现:CreateThread创建多线程,等待线程完成任务
爬虫·.net·线程池·vb6·vb6多线程·抢单·vba优化