技术性屏蔽百度爬虫已经一周了!

很久前明月就发现百度爬虫只抓取、只收录就是不给流量了,加上百度搜索体验越来越差,反正明月已经很久没有用过百度搜索,目前使用的浏览器几乎默认搜索都已经修改成其他搜索引擎了,真要搜索什么,一般都是必应+谷歌结合着使用。所以就一直在纠结要不好屏蔽百度爬虫,上周借助 CloudFlare 的【随机加密】先技术性的屏蔽百度爬虫了。

说起来比较好笑都 2024 年了,早就号称支持 HTTPS 的百度爬虫竟然不支持【随机加密 】(可参考【使用 CloudFlare 后百度抓取诊断抓取失败的解决办法】一文),就是这么神奇!

所以我这个所谓的技术性屏蔽百度爬虫说白了就是开启【随机加密】,让百度的爬虫抓取出现报错,今天又继续在 robots.txt 里屏蔽百度爬虫:

复制代码
User-agent: Baiduspider
Disallow: / 
User-agent: Baiduspider-image
Disallow: /

说实话,百度爬虫真的很 low,既然你都不给我流量,我也就没有"供养"你的必要了,反正我现在的感觉就是百度爬虫一直在利用网站养他的 AI,这是我不能接受的,所以必须屏蔽拦截掉。

相关推荐
电商API_180079052471 小时前
闲鱼商品采集API商品列表API店铺商品API
爬虫·数据挖掘·数据分析
qq_283720053 小时前
Python模块精进: urllib 从入门到精通
网络·爬虫·python
biotechbd6 小时前
TSHR蛋白|甲状腺甲亢核心靶点 结构功能与CHO稳定表达方案
百度·微信·微信公众平台
wanhengidc7 小时前
服务器 数据科技发展
运维·服务器·爬虫·科技·游戏·智能手机
科技牛牛8 小时前
AI爬虫vs网站封禁:IP封锁大战升级
人工智能·爬虫·ip
小白学大数据9 小时前
Python 实现可交互滑块拼图,图形拖拽移动无卡顿
爬虫·python·microsoft·交互
csdn_aspnet9 小时前
百度搜索算法逆向思考:SEO工程师的反推与博弈
百度·seo·搜索
Luca_kill19 小时前
MCP数据采集革命:从传统爬虫到智能代理的技术进化
爬虫·python·ai·数据采集·mcp·webscraping·集蜂云
ZC跨境爬虫19 小时前
Scrapy分布式爬虫(单机模拟多节点):豆瓣Top250项目设置与数据流全解析
分布式·爬虫·python·scrapy
深蓝电商API20 小时前
小红书商品笔记抓取:笔记ID与商品关联关系解析
爬虫·小红书