爬虫playwright中的资源监听

采集图品该怎么办,资源监听了解一下,什么叫做资源,访问一个页面,是由多个部分组成的,加载一个最起初的框架,html文件,只能感知得到http,其他要打开开发者工具,如何把视频音频拿过来呢 ,搜一下script

找到里边引入了一个js文件,把他拿过来

这些文件被称为资源文件,监听的就是这些资源, 这个东西该怎么做,先用xpath提取网页资源,通过request来发送请求,先定义一个方法test_resources定义一个响应对象

还有一个问题,什么时候监听?是在访问页面之前进行监听

用page.on方法,交给定义的方法处理,并进行打印url, 补充如下,运行就能发现都能监听到了

现在要获取请求,就可以到响应里面处理

假设现在要获取图片,response.url是相应的,指请求已经发送过了

在网页上搜索,找到百度这张图片

然后搜索得到,判断是不是,是的话进行保存

注意最后·用response.body(字节数据)

注意代码要在加一个write写进去,然后在openin中的explorer中打开查看这张图片

要获取所有图片,就要修改response类型

然后看到这个图片的类型就是image/png,判断的时候就可以判断其他的url

相关推荐
云飞云共享云桌面1 天前
传统工作站 vs 云飞云共享云桌面:制造业设计云桌面选型深度对比
运维·服务器·前端·网络·3d·架构·制造
UXbot1 天前
如何选择适合公司项目的UI设计工具?企业选型指南
前端·低代码·ui·团队开发·原型模式·设计规范·web app
llz_1121 天前
web-第四次课后作业
前端·spring boot·web
武清伯MVP1 天前
前端跨域方案大合集
前端·javascript
在放️1 天前
Python 爬虫 · 第三方代理接入与合规使用
开发语言·爬虫·python
小刘|1 天前
Spring AI Alibaba 集成和风天气 API 实战
java·服务器·前端
星星在线1 天前
我是怎么把页面图片流量砍掉一半的
前端·javascript
隔窗听雨眠1 天前
大模型加爬虫中篇:工程实践与应用场景
爬虫
赵大大宝1 天前
反爬虫从入门到精通:构建坚不可摧的数据防线
爬虫
木叶子---1 天前
前端打包出错
前端·人工智能·tensorflow