主流反爬虫手段

这题我会,主流反爬虫手段

①检测浏览器环境动态生成cookie(瑞数)

②验证码(极验,顶象)

③js混淆或加密,obfuscator的js混淆,wasm加密,jsvmp(js虚拟机)

④字体反爬,CSS反爬,雪碧图

⑤tls指纹检查 只要肯花钱,不是随便起个无头浏览器就可以爬走数据

另外爬虫会用代理,所以封ip没用而且很容易误伤

6.防爬技术叫蜜罐,在常见的链接中放一个url,页面看不到,但是爬虫能拿到,访问这个url的直接封

以此类推,多搞一些网页看不到但是爬虫能拿到的内容。 或者直接参考起点,搞几套自己的字符集,爬虫拿到的就是乱码,除非有正确的解码方式。

7.记录鼠标轨迹和停留时间,如果是直接访问url的做频率限制或禁止访问就好了。 如果有前置入口页面,可以记录前一个页面的鼠标轨迹和停留时间,类似登陆页面的具体细节拖动验证码机制。 细节上可以增加获取浏览器指纹确保客户在浏览器环境。获取登陆页面的浏览器指纹,验证和被抓取的页面环境是否一致。

设置轨迹偏移量还有停留时间搞范围随机就行了

相关推荐
Z***G4792 小时前
网络爬虫学习:借助DeepSeek完善爬虫软件,实现模拟鼠标右键点击,将链接另存为本地文件
爬虫·学习·计算机外设
烤汉堡4 小时前
Python入门到实战:post请求+cookie+代理
爬虫·python
e***19354 小时前
爬虫学习 01 Web Scraper的使用
前端·爬虫·学习
Hacker_Oldv10 小时前
Python技能进阶:探索Selenium库,实现网页自动化测试与爬虫
自动化测试·软件测试·爬虫·python·selenium·职场和发展
l***775211 小时前
开源的不需要写代码的爬虫maxun
爬虫·开源
ImAlex12 小时前
IPIDEA代理IP深度测评:构建智能体知识库的得力助手
爬虫·agent
第二只羽毛12 小时前
遵守robots协议的友好爬虫
大数据·爬虫·python·算法·网络爬虫
YongCheng_Liang14 小时前
深度解析:GitHub API 爬虫工具 —— 自动化获取热门 / 推荐开源项目
爬虫·自动化·github
ycydynq19 小时前
自动化验证码实现
爬虫·自动化
c***42101 天前
爬虫基础之爬取某基金网站+数据分析
爬虫·数据挖掘·数据分析