主流反爬虫手段

这题我会,主流反爬虫手段

①检测浏览器环境动态生成cookie(瑞数)

②验证码(极验,顶象)

③js混淆或加密,obfuscator的js混淆,wasm加密,jsvmp(js虚拟机)

④字体反爬,CSS反爬,雪碧图

⑤tls指纹检查 只要肯花钱,不是随便起个无头浏览器就可以爬走数据

另外爬虫会用代理,所以封ip没用而且很容易误伤

6.防爬技术叫蜜罐,在常见的链接中放一个url,页面看不到,但是爬虫能拿到,访问这个url的直接封

以此类推,多搞一些网页看不到但是爬虫能拿到的内容。 或者直接参考起点,搞几套自己的字符集,爬虫拿到的就是乱码,除非有正确的解码方式。

7.记录鼠标轨迹和停留时间,如果是直接访问url的做频率限制或禁止访问就好了。 如果有前置入口页面,可以记录前一个页面的鼠标轨迹和停留时间,类似登陆页面的具体细节拖动验证码机制。 细节上可以增加获取浏览器指纹确保客户在浏览器环境。获取登陆页面的浏览器指纹,验证和被抓取的页面环境是否一致。

设置轨迹偏移量还有停留时间搞范围随机就行了

相关推荐
小白学大数据18 小时前
线上故障急救:依托 OpenClaw 日志排查 403 和 503 问题
爬虫·python·selenium·数据分析
有味道的男人20 小时前
利用爬虫获取中国制造网商品详情:高效采集完整方案
爬虫·制造
anew___1 天前
2026年Python爬虫技术完全指南:从入门到实战
开发语言·爬虫·python
深蓝电商API1 天前
无头浏览器性能优化:内存占用从2GB降到200MB
爬虫·性能优化
深蓝电商API1 天前
CDP协议深度解析:不通过WebDriver直接操控浏览器
爬虫
北极星日淘1 天前
Python代理池动态适配日淘爬虫|解决高频抓取IP封禁终极方案(含完整源码)
爬虫·python·tcp/ip
赵大大宝1 天前
Selenium 从入门到精通:自动化测试与爬虫实战全攻略
爬虫·selenium·测试工具
北极星日淘1 天前
Python爬虫断点续爬实战|基于Redis实现日淘商品增量抓取(解决重启全量重爬问题)
redis·爬虫·python
电商API_180079052472 天前
Python 实现闲鱼商品列表批量采集,接口异常重试机制搭建
大数据·开发语言·数据库·爬虫·python
绘梨衣5472 天前
采集基类设计遇到的描述符bug
爬虫·python·bug