爬虫playwright中的资源监听

采集图品该怎么办,资源监听了解一下,什么叫做资源,访问一个页面,是由多个部分组成的,加载一个最起初的框架,html文件,只能感知得到http,其他要打开开发者工具,如何把视频音频拿过来呢 ,搜一下script

找到里边引入了一个js文件,把他拿过来

这些文件被称为资源文件,监听的就是这些资源, 这个东西该怎么做,先用xpath提取网页资源,通过request来发送请求,先定义一个方法test_resources定义一个响应对象

还有一个问题,什么时候监听?是在访问页面之前进行监听

用page.on方法,交给定义的方法处理,并进行打印url, 补充如下,运行就能发现都能监听到了

现在要获取请求,就可以到响应里面处理

假设现在要获取图片,response.url是相应的,指请求已经发送过了

在网页上搜索,找到百度这张图片

然后搜索得到,判断是不是,是的话进行保存

注意最后·用response.body(字节数据)

注意代码要在加一个write写进去,然后在openin中的explorer中打开查看这张图片

要获取所有图片,就要修改response类型

然后看到这个图片的类型就是image/png,判断的时候就可以判断其他的url

相关推荐
陈随易1 小时前
在 VSCode 里,把项目一键部署到服务器
前端·后端·程序员
Highcharts.js1 小时前
教程:基于 React + Highcharts 构建一个单页应用程序、按需数据拉取与图表渲染
开发语言·前端·数据结构·react.js·前端框架·highcharts·页面应用
To_OC2 小时前
我被 useState 坑了两次之后,终于把它的脾气摸透了
前端·javascript·react.js
鱼樱前端2 小时前
我用 Claude Code 后,编码效率翻 3 倍。但更值钱的是别的。
前端·后端·ai编程
_lucas2 小时前
给知识库网站接入AI问答
前端·ai编程·全栈
前端糕手3 小时前
前端面试题大全:JavaScript + Vue3 + React + TypeScript + 工程化 + 性能优化
前端
我不叫武4 小时前
一个用 Rust 写的离线编码查询桌面工具
前端
q567315235 小时前
人工智能训练数据采集:稳定代理IP高并发方案全解析
人工智能·爬虫·网络协议·tcp/ip·代理模式·代理ip
Web4Browser5 小时前
指纹浏览器 API 自动化怎么接:启动 Profile、获取 CDP 端点并连接自动化框架
前端·网络·typescript·自动化
Patrick_Wilson5 小时前
从 React 到 Flutter:写给前端的一张跨端知识地图
前端·flutter·react.js