爬虫利器SpiderTools谷歌插件教程v1.0.0!!!web端JavaScript环境检测!!!

SpiderTools谷歌插件教程v1.0.0

补环境工具推荐:爬虫补环境利器webEnv

一、SpiderTools简介

SpiderTools主要用于检测和监控网页的JavaScript运行环境。该插件可以帮助开发者更好地查看网页运行环境,特别是在处理复杂的前端环境时。并且可以配置不同环境的属性、方法检测,日志显示还会用颜色做出区分,目前该插件只具有环境检测功能,后期打算加上hook、websocket以及一些简单的解混肴工具,之前在一些爬虫案例上也使用过该插件,目前效果良好:

爬虫瑞数6案例中文期刊:https://blog.csdn.net/randy521520/article/details/146093864

web逆向伪瑞数案例宝武资源有限公司:https://blog.csdn.net/randy521520/article/details/145686852

爬虫Incapsula reese84加密案例Etihad航空:https://blog.csdn.net/randy521520/article/details/146021845

二、下载通道

手机访问:https://pan.quark.cn/s/fe38ba821a2a,保存网盘下载即可。制作维护不易,望各位私下分享时分享网盘链接;搭配[webEnv补环境工具](https://blog.csdn.net/randy521520/article/details/147014083)效果更好。

三、插件介绍

1.配置页:目前的配置页具有windows、location、document、storage等配置,配置页会显示出每个对象可配置的属性和函数,还有每个对象的介绍,还会显示哪些属性、函数不可配置吗,目前可配置大部分对象,默认勾选了大部分的环境,如有环境不在该配置页中,可在评论区评论

2.由于目前功能比较少,目前只有开启环境代理开关、日志开关、配置页跳转,只有同时开启代理开关、日志开关控制台才会有日志输出

四、插件使用

1.基本使用就是开启代理开关、日志开关,就可以自动输出该网页的运行环境,以瑞数5.5网站:https://www.ouyeel.com/search-ng/queryResource/index为例,该网站爬虫教程:https://blog.csdn.net/randy521520/article/details/145338515

2.通过使用hookProxyProp.push(prop),可以hook对象属性

3.通过使用hookProxyArg.push(arg),可以hook函数的参数

4.hookProxyProp、hookProxyArg可以在任何时候的断点中使用,都会对之后的日志生效,不过这是针对所有对象,只能简单的做个hook,在动态调试代码时会很有用

五、工具函数使用

由于该插件刚开发,提供的工具函数只有copyObj,用于复制对象中的属性,后续有需求也会添加其他工具函数,有觉得在爬虫中麻烦的操作,可以在文章下评论,如果能用工具函数解决,会维护工具函数;当然在插件使用的过程中,有bug、有环境校验不准确的,都可以在文章下评论

相关推荐
源码之家10 小时前
基于Python房价预测系统 数据分析 Flask框架 爬虫 随机森林回归预测模型、链家二手房 可视化大屏 大数据毕业设计(附源码)✅
大数据·爬虫·python·随机森林·数据分析·spark·flask
裤裤兔16 小时前
python爬取pdf文件并保存至本地
chrome·爬虫·python·pdf·网络爬虫
beijingliushao16 小时前
96-爬虫XPath解析
爬虫
beijingliushao16 小时前
95-Python爬虫-正则表达式
爬虫·python·正则表达式
百***060116 小时前
python爬虫——爬取全年天气数据并做可视化分析
开发语言·爬虫·python
失败又激情的man16 小时前
爬虫逆向之360磐云盾案例(某政府网站)
爬虫
interception17 小时前
爬虫逆向:websocket实战案例,全国建筑市场
爬虫·websocket·网络协议
q***31891 天前
爬虫基础之爬取某基金网站+数据分析
爬虫·数据挖掘·数据分析
ycydynq1 天前
自动化爬虫selenium
爬虫·selenium·自动化
sanggou1 天前
【Python爬虫】手把手教你从零开始写爬虫,小白也能轻松学会!(附完整源码)
开发语言·爬虫·python