爬虫利器SpiderTools谷歌插件教程v1.0.0!!!web端JavaScript环境检测!!!

SpiderTools谷歌插件教程v1.0.0

补环境工具推荐:爬虫补环境利器webEnv

一、SpiderTools简介

SpiderTools主要用于检测和监控网页的JavaScript运行环境。该插件可以帮助开发者更好地查看网页运行环境,特别是在处理复杂的前端环境时。并且可以配置不同环境的属性、方法检测,日志显示还会用颜色做出区分,目前该插件只具有环境检测功能,后期打算加上hook、websocket以及一些简单的解混肴工具,之前在一些爬虫案例上也使用过该插件,目前效果良好:

爬虫瑞数6案例中文期刊:https://blog.csdn.net/randy521520/article/details/146093864

web逆向伪瑞数案例宝武资源有限公司:https://blog.csdn.net/randy521520/article/details/145686852

爬虫Incapsula reese84加密案例Etihad航空:https://blog.csdn.net/randy521520/article/details/146021845

二、下载通道

手机访问:https://pan.quark.cn/s/fe38ba821a2a,保存网盘下载即可。制作维护不易,望各位私下分享时分享网盘链接;搭配[webEnv补环境工具](https://blog.csdn.net/randy521520/article/details/147014083)效果更好。

三、插件介绍

1.配置页:目前的配置页具有windows、location、document、storage等配置,配置页会显示出每个对象可配置的属性和函数,还有每个对象的介绍,还会显示哪些属性、函数不可配置吗,目前可配置大部分对象,默认勾选了大部分的环境,如有环境不在该配置页中,可在评论区评论

2.由于目前功能比较少,目前只有开启环境代理开关、日志开关、配置页跳转,只有同时开启代理开关、日志开关控制台才会有日志输出

四、插件使用

1.基本使用就是开启代理开关、日志开关,就可以自动输出该网页的运行环境,以瑞数5.5网站:https://www.ouyeel.com/search-ng/queryResource/index为例,该网站爬虫教程:https://blog.csdn.net/randy521520/article/details/145338515

2.通过使用hookProxyProp.push(prop),可以hook对象属性

3.通过使用hookProxyArg.push(arg),可以hook函数的参数

4.hookProxyProp、hookProxyArg可以在任何时候的断点中使用,都会对之后的日志生效,不过这是针对所有对象,只能简单的做个hook,在动态调试代码时会很有用

五、工具函数使用

由于该插件刚开发,提供的工具函数只有copyObj,用于复制对象中的属性,后续有需求也会添加其他工具函数,有觉得在爬虫中麻烦的操作,可以在文章下评论,如果能用工具函数解决,会维护工具函数;当然在插件使用的过程中,有bug、有环境校验不准确的,都可以在文章下评论

相关推荐
失败又激情的man4 小时前
Scrapy进阶封装(第四阶段:中间件设置,动态UA,ip代理池)
爬虫·scrapy·中间件
dme.9 小时前
Javascript之DOM操作
开发语言·javascript·爬虫·python·ecmascript
K哥爬虫12 小时前
【APP逆向百例】某品会 app 逆向分析
爬虫
巴里巴气14 小时前
selenium基础知识 和 模拟登录selenium版本
爬虫·python·selenium·爬虫模拟登录
凛铄linshuo2 天前
爬虫简单实操2——以贴吧为例爬取“某吧”前10页的网页代码
爬虫·python·学习
weixin_416639972 天前
爬虫工程师Chrome开发者工具简单介绍
前端·chrome·爬虫
科技苑2 天前
简单 Python 爬虫程序设计
爬虫
q567315232 天前
R语言初学者爬虫简单模板
开发语言·爬虫·r语言·iphone
泡泡以安3 天前
安卓高版本HTTPS抓包:终极解决方案
爬虫·https·安卓逆向·安卓抓包
q567315233 天前
Java Selenium反爬虫技术方案
java·爬虫·selenium