爬虫利器SpiderTools谷歌插件教程v1.0.0!!!web端JavaScript环境检测!!!

SpiderTools谷歌插件教程v1.0.0

补环境工具推荐:爬虫补环境利器webEnv

一、SpiderTools简介

SpiderTools主要用于检测和监控网页的JavaScript运行环境。该插件可以帮助开发者更好地查看网页运行环境,特别是在处理复杂的前端环境时。并且可以配置不同环境的属性、方法检测,日志显示还会用颜色做出区分,目前该插件只具有环境检测功能,后期打算加上hook、websocket以及一些简单的解混肴工具,之前在一些爬虫案例上也使用过该插件,目前效果良好:

爬虫瑞数6案例中文期刊:https://blog.csdn.net/randy521520/article/details/146093864

web逆向伪瑞数案例宝武资源有限公司:https://blog.csdn.net/randy521520/article/details/145686852

爬虫Incapsula reese84加密案例Etihad航空:https://blog.csdn.net/randy521520/article/details/146021845

二、下载通道

手机访问:https://pan.quark.cn/s/fe38ba821a2a,保存网盘下载即可。制作维护不易,望各位私下分享时分享网盘链接;搭配[webEnv补环境工具](https://blog.csdn.net/randy521520/article/details/147014083)效果更好。

三、插件介绍

1.配置页:目前的配置页具有windows、location、document、storage等配置,配置页会显示出每个对象可配置的属性和函数,还有每个对象的介绍,还会显示哪些属性、函数不可配置吗,目前可配置大部分对象,默认勾选了大部分的环境,如有环境不在该配置页中,可在评论区评论

2.由于目前功能比较少,目前只有开启环境代理开关、日志开关、配置页跳转,只有同时开启代理开关、日志开关控制台才会有日志输出

四、插件使用

1.基本使用就是开启代理开关、日志开关,就可以自动输出该网页的运行环境,以瑞数5.5网站:https://www.ouyeel.com/search-ng/queryResource/index为例,该网站爬虫教程:https://blog.csdn.net/randy521520/article/details/145338515

2.通过使用hookProxyProp.push(prop),可以hook对象属性

3.通过使用hookProxyArg.push(arg),可以hook函数的参数

4.hookProxyProp、hookProxyArg可以在任何时候的断点中使用,都会对之后的日志生效,不过这是针对所有对象,只能简单的做个hook,在动态调试代码时会很有用

五、工具函数使用

由于该插件刚开发,提供的工具函数只有copyObj,用于复制对象中的属性,后续有需求也会添加其他工具函数,有觉得在爬虫中麻烦的操作,可以在文章下评论,如果能用工具函数解决,会维护工具函数;当然在插件使用的过程中,有bug、有环境校验不准确的,都可以在文章下评论

相关推荐
xyzzklk5 天前
在Open-WebUI中提升向量化速度
网络·人工智能·爬虫·ai·语言模型·自然语言处理·安卓
严肃小白兔6 天前
Cloudflare 开始区分 AI 爬虫与个人 Agent:网站访问控制应该怎样设计?
人工智能·爬虫
傻啦嘿哟8 天前
高德地图POI爬虫:爬取商户与景点数据,做LBS应用
爬虫
weixin199701080169 天前
官方授权通道和灰色爬虫,做数据服务该选哪条路(附 python 源码)
c++·爬虫·python
正飞信息技术10 天前
llms.txt部署指南:给AI爬虫一张清晰的网站地图
人工智能·爬虫
NeoGressAI外贸数字化11 天前
外贸独立站robots.txt怎么写:6个AI爬虫放行规则
人工智能·爬虫
OnlineProxy11 天前
移动应用数据爬取:通过模拟器与流量嗅探对 API 进行逆向工程
爬虫·python·httpx
傻啦嘿哟11 天前
分布式爬虫架构:Redis+Scrapy打造企业级爬虫系统
分布式·爬虫·架构
梯度下降者12 天前
零基础入门Python 爬虫
爬虫·python·数据分析·入门指南·webcrawler
2601_9679791212 天前
0 到 1 学爬虫:用 Python 爬取网页数据指南一(附实战案例)
爬虫·python·实战案例·html解析·网页数据