主流反爬虫手段

这题我会,主流反爬虫手段

①检测浏览器环境动态生成cookie(瑞数)

②验证码(极验,顶象)

③js混淆或加密,obfuscator的js混淆,wasm加密,jsvmp(js虚拟机)

④字体反爬,CSS反爬,雪碧图

⑤tls指纹检查 只要肯花钱,不是随便起个无头浏览器就可以爬走数据

另外爬虫会用代理,所以封ip没用而且很容易误伤

6.防爬技术叫蜜罐,在常见的链接中放一个url,页面看不到,但是爬虫能拿到,访问这个url的直接封

以此类推,多搞一些网页看不到但是爬虫能拿到的内容。 或者直接参考起点,搞几套自己的字符集,爬虫拿到的就是乱码,除非有正确的解码方式。

7.记录鼠标轨迹和停留时间,如果是直接访问url的做频率限制或禁止访问就好了。 如果有前置入口页面,可以记录前一个页面的鼠标轨迹和停留时间,类似登陆页面的具体细节拖动验证码机制。 细节上可以增加获取浏览器指纹确保客户在浏览器环境。获取登陆页面的浏览器指纹,验证和被抓取的页面环境是否一致。

设置轨迹偏移量还有停留时间搞范围随机就行了

相关推荐
MgArcher3 小时前
抖音a_bogus参数逆向实战:JSVMP环境模拟与Hook技术(2025最新)
javascript·爬虫·python
MgArcher3 小时前
极验GT4滑块验证码全链路逆向:w参数生成与验证流程(2025最新)
爬虫
亿牛云爬虫专家11 小时前
聊聊数据的“冷热分离“:如何对历史爬虫数据进行合理的归档与压缩存储?
爬虫·爬虫代理·架构设计·隧道代理·大数据处理·压缩存储·数据分层存放
袁袁袁袁满11 小时前
Python爬虫实战:利用巨量IP获取跨境电商数据
爬虫·python·网络爬虫·爬虫实战·跨境电商·电商爬虫
拿本唠嗑AI研究12 小时前
现代前端架构爬虫指南:从静态页面到 React/Vue 单页应用
前端·爬虫·架构
一个处女座的程序猿1 天前
Crawler之Tool:MediaCrawler的简介、安装和使用方法、案例应用之详细攻略
爬虫·mediacrawler
深蓝电商API1 天前
Hook Canvas 获取浏览器指纹
爬虫·hook canvas
深蓝电商API1 天前
Hook Crypto API 获取加密参数
爬虫·hook crypto api
瓦学妹2 天前
Wikimon Scraper:用 Python 构建数据爬虫
开发语言·爬虫·python
小白学大数据3 天前
长周期爬虫的数据一致性:断点续爬 + 事务回滚保障采集质量
开发语言·爬虫·测试工具