技术性屏蔽百度爬虫已经一周了!

很久前明月就发现百度爬虫只抓取、只收录就是不给流量了,加上百度搜索体验越来越差,反正明月已经很久没有用过百度搜索,目前使用的浏览器几乎默认搜索都已经修改成其他搜索引擎了,真要搜索什么,一般都是必应+谷歌结合着使用。所以就一直在纠结要不好屏蔽百度爬虫,上周借助 CloudFlare 的【随机加密】先技术性的屏蔽百度爬虫了。

说起来比较好笑都 2024 年了,早就号称支持 HTTPS 的百度爬虫竟然不支持【随机加密 】(可参考【使用 CloudFlare 后百度抓取诊断抓取失败的解决办法】一文),就是这么神奇!

所以我这个所谓的技术性屏蔽百度爬虫说白了就是开启【随机加密】,让百度的爬虫抓取出现报错,今天又继续在 robots.txt 里屏蔽百度爬虫:

复制代码
User-agent: Baiduspider
Disallow: / 
User-agent: Baiduspider-image
Disallow: /

说实话,百度爬虫真的很 low,既然你都不给我流量,我也就没有"供养"你的必要了,反正我现在的感觉就是百度爬虫一直在利用网站养他的 AI,这是我不能接受的,所以必须屏蔽拦截掉。

相关推荐
毕设源码-钟学长8 分钟前
【开题答辩全过程】以 基于Python爬虫的二手房信息爬取及分析为例,包含答辩的问题和答案
开发语言·爬虫·python
yiersansiwu123d1 小时前
AI重塑就业格局:机遇、挑战与政策应对
人工智能·百度
yunhuibin2 小时前
yolov8通过百度飞桨AIstudio平台搭建
yolo·百度·paddlepaddle
Glommer2 小时前
Akamai 逆向思路
javascript·爬虫·逆向
知识浅谈2 小时前
传统爬虫太耗时?AI一键生成企业级爬虫架构
人工智能·爬虫
每日新鲜事3 小时前
2025新采购峰会圆满落幕,端点科技AI协同供应链平台正式发布
人工智能·百度
工业互联网专业4 小时前
基于爬虫的个性化书籍推荐系统_flask+spider
爬虫·python·flask·毕业设计·源码·课程设计
sugar椰子皮4 小时前
【爬虫框架-4】统计的用法
爬虫
想个名字太难13 小时前
网络爬虫入门程序
java·爬虫·maven
Data_agent17 小时前
1688按图搜索1688商品(拍立淘)API ,Python请求示例
爬虫·python·算法·图搜索算法