爬虫playwright中的资源监听

采集图品该怎么办,资源监听了解一下,什么叫做资源,访问一个页面,是由多个部分组成的,加载一个最起初的框架,html文件,只能感知得到http,其他要打开开发者工具,如何把视频音频拿过来呢 ,搜一下script

找到里边引入了一个js文件,把他拿过来

这些文件被称为资源文件,监听的就是这些资源, 这个东西该怎么做,先用xpath提取网页资源,通过request来发送请求,先定义一个方法test_resources定义一个响应对象

还有一个问题,什么时候监听?是在访问页面之前进行监听

用page.on方法,交给定义的方法处理,并进行打印url, 补充如下,运行就能发现都能监听到了

现在要获取请求,就可以到响应里面处理

假设现在要获取图片,response.url是相应的,指请求已经发送过了

在网页上搜索,找到百度这张图片

然后搜索得到,判断是不是,是的话进行保存

注意最后·用response.body(字节数据)

注意代码要在加一个write写进去,然后在openin中的explorer中打开查看这张图片

要获取所有图片,就要修改response类型

然后看到这个图片的类型就是image/png,判断的时候就可以判断其他的url

相关推荐
架构技术专栏5 小时前
Agent 工具调用:从工具声明到执行反馈
前端·人工智能·后端
别动我齐刘海6 小时前
C++ 工程化学习
java·linux·前端·c++·学习·机器学习·机器人
志尊宝6 小时前
Vue3 零基础每日笔记(071):暗黑模式与主题切换——CSS 变量 + Element Plus 暗黑方案
前端·css·笔记·vue·html·前端开发·软件开发
刘发财7 小时前
前端如何生成10000页PDF文件?
前端·javascript·开源
A接拉起0077 小时前
2026 年 JavaScript 开发者需要了解的知识
前端·javascript·后端
用户11481867894847 小时前
面试官:大屏项目里十几个模块同时渲染上万条数据,怎么做到不卡?
前端·性能优化
前端市界8 小时前
Pro React Admin: 统一工程底座,承载多种应用...
前端·github
葡萄城技术团队8 小时前
dsh-spreadjs-editor 当前支持什么:安装前需要了解的几件事
前端
三*一8 小时前
优化修整算法
前端·javascript·算法
weifont9 小时前
自动化抓取和上架商品:能不动手,就少动手
运维·前端·自动化