爬虫利器SpiderTools谷歌插件教程v1.0.0!!!web端JavaScript环境检测!!!

SpiderTools谷歌插件教程v1.0.0

补环境工具推荐:爬虫补环境利器webEnv

一、SpiderTools简介

SpiderTools主要用于检测和监控网页的JavaScript运行环境。该插件可以帮助开发者更好地查看网页运行环境,特别是在处理复杂的前端环境时。并且可以配置不同环境的属性、方法检测,日志显示还会用颜色做出区分,目前该插件只具有环境检测功能,后期打算加上hook、websocket以及一些简单的解混肴工具,之前在一些爬虫案例上也使用过该插件,目前效果良好:

爬虫瑞数6案例中文期刊:https://blog.csdn.net/randy521520/article/details/146093864

web逆向伪瑞数案例宝武资源有限公司:https://blog.csdn.net/randy521520/article/details/145686852

爬虫Incapsula reese84加密案例Etihad航空:https://blog.csdn.net/randy521520/article/details/146021845

二、下载通道

手机访问:https://pan.quark.cn/s/fe38ba821a2a,保存网盘下载即可。制作维护不易,望各位私下分享时分享网盘链接;搭配[webEnv补环境工具](https://blog.csdn.net/randy521520/article/details/147014083)效果更好。

三、插件介绍

1.配置页:目前的配置页具有windows、location、document、storage等配置,配置页会显示出每个对象可配置的属性和函数,还有每个对象的介绍,还会显示哪些属性、函数不可配置吗,目前可配置大部分对象,默认勾选了大部分的环境,如有环境不在该配置页中,可在评论区评论

2.由于目前功能比较少,目前只有开启环境代理开关、日志开关、配置页跳转,只有同时开启代理开关、日志开关控制台才会有日志输出

四、插件使用

1.基本使用就是开启代理开关、日志开关,就可以自动输出该网页的运行环境,以瑞数5.5网站:https://www.ouyeel.com/search-ng/queryResource/index为例,该网站爬虫教程:https://blog.csdn.net/randy521520/article/details/145338515

2.通过使用hookProxyProp.push(prop),可以hook对象属性

3.通过使用hookProxyArg.push(arg),可以hook函数的参数

4.hookProxyProp、hookProxyArg可以在任何时候的断点中使用,都会对之后的日志生效,不过这是针对所有对象,只能简单的做个hook,在动态调试代码时会很有用

五、工具函数使用

由于该插件刚开发,提供的工具函数只有copyObj,用于复制对象中的属性,后续有需求也会添加其他工具函数,有觉得在爬虫中麻烦的操作,可以在文章下评论,如果能用工具函数解决,会维护工具函数;当然在插件使用的过程中,有bug、有环境校验不准确的,都可以在文章下评论

相关推荐
Joke#16 小时前
某d的评论爬虫学习
爬虫
普郎特1 天前
大白话帮你彻底理解 aiohttp 的 ClientSession 与 ClientResponse 对象
爬虫·python
马哥python说1 天前
【效率软件】抖音转换工具:主页链接和抖音号一键批量互转
爬虫·python
XiaoLeisj1 天前
【智能协同云图库】智能协同云图库第七弹:基于 Jsoup 爬虫实现以图搜图、颜色搜图、批量操作
spring boot·爬虫·servlet·java-ee·mybatis·门面模式·jsoup
小白学大数据3 天前
基于Python的新闻爬虫:实时追踪行业动态
开发语言·爬虫·python
小白iP代理3 天前
动态IP+AI反侦测:新一代爬虫如何绕过生物行为验证?
人工智能·爬虫·tcp/ip
叫我:松哥3 天前
基于网络爬虫的在线医疗咨询数据爬取与医疗服务分析系统,技术采用django+朴素贝叶斯算法+boostrap+echart可视化
人工智能·爬虫·python·算法·django·数据可视化·朴素贝叶斯
bksheng4 天前
【SSL证书校验问题】通过 monkey-patch 关掉 SSL 证书校验
网络·爬虫·python·网络协议·ssl
叫我:松哥4 天前
优秀案例:基于python django的智能家居销售数据采集和分析系统设计与实现,使用混合推荐算法和LSTM算法情感分析
爬虫·python·算法·django·lstm·智能家居·推荐算法
xnglan4 天前
使用爬虫获取游戏的iframe地址
开发语言·爬虫·python·学习