技术性屏蔽百度爬虫已经一周了!

很久前明月就发现百度爬虫只抓取、只收录就是不给流量了,加上百度搜索体验越来越差,反正明月已经很久没有用过百度搜索,目前使用的浏览器几乎默认搜索都已经修改成其他搜索引擎了,真要搜索什么,一般都是必应+谷歌结合着使用。所以就一直在纠结要不好屏蔽百度爬虫,上周借助 CloudFlare 的【随机加密】先技术性的屏蔽百度爬虫了。

说起来比较好笑都 2024 年了,早就号称支持 HTTPS 的百度爬虫竟然不支持【随机加密 】(可参考【使用 CloudFlare 后百度抓取诊断抓取失败的解决办法】一文),就是这么神奇!

所以我这个所谓的技术性屏蔽百度爬虫说白了就是开启【随机加密】,让百度的爬虫抓取出现报错,今天又继续在 robots.txt 里屏蔽百度爬虫:

复制代码
User-agent: Baiduspider
Disallow: / 
User-agent: Baiduspider-image
Disallow: /

说实话,百度爬虫真的很 low,既然你都不给我流量,我也就没有"供养"你的必要了,反正我现在的感觉就是百度爬虫一直在利用网站养他的 AI,这是我不能接受的,所以必须屏蔽拦截掉。

相关推荐
小邓睡不饱耶5 小时前
东方财富股吧话题爬虫实现:从接口请求到Excel数据落地
爬虫·excel
Daorigin_com5 小时前
合规经营新时代:从“安全港”制度看企业合规管理新路径
经验分享·百度·信息可视化·职场和发展·社交电子·交互·新浪微博
进击的雷神5 小时前
攻克动态列表页结构:基于ID与URL双字段协同提取的精准爬虫设计
爬虫·spiderflow
何玺1 天前
“未来机器人按Token收费”——百度沈抖在博鳌绘出新图景
百度·机器人
进击的雷神1 天前
分页参数推导、嵌套数据提取、多语言地址判断、去重插入检查——韩国Koplas展爬虫四大技术难关攻克纪实
爬虫·python
xxjj998a1 天前
Python 爬虫实战案例 - 获取社交平台事件热度并进行影响分析
开发语言·爬虫·python
三三有猫1 天前
爬虫代理基础知识:为什么用与怎么用
开发语言·c++·爬虫
白日与明月1 天前
Pandas 读取文本数据 (Text I/O) 速查表
爬虫·python·pandas
逆向新手1 天前
chrome-devtools-mcp不能远程调试的问题与解决方法_2026-03-25
爬虫·ai编程·逆向
ZTLJQ1 天前
数据采集的工业级武器:Python爬虫框架完全解析
开发语言·爬虫·python