爬虫playwright中的资源监听

采集图品该怎么办,资源监听了解一下,什么叫做资源,访问一个页面,是由多个部分组成的,加载一个最起初的框架,html文件,只能感知得到http,其他要打开开发者工具,如何把视频音频拿过来呢 ,搜一下script

找到里边引入了一个js文件,把他拿过来

这些文件被称为资源文件,监听的就是这些资源, 这个东西该怎么做,先用xpath提取网页资源,通过request来发送请求,先定义一个方法test_resources定义一个响应对象

还有一个问题,什么时候监听?是在访问页面之前进行监听

用page.on方法,交给定义的方法处理,并进行打印url, 补充如下,运行就能发现都能监听到了

现在要获取请求,就可以到响应里面处理

假设现在要获取图片,response.url是相应的,指请求已经发送过了

在网页上搜索,找到百度这张图片

然后搜索得到,判断是不是,是的话进行保存

注意最后·用response.body(字节数据)

注意代码要在加一个write写进去,然后在openin中的explorer中打开查看这张图片

要获取所有图片,就要修改response类型

然后看到这个图片的类型就是image/png,判断的时候就可以判断其他的url

相关推荐
0思必得04 小时前
[Web自动化] Selenium处理滚动条
前端·爬虫·python·selenium·自动化
Misnice4 小时前
Webpack、Vite、Rsbuild区别
前端·webpack·node.js
青茶3604 小时前
php怎么实现订单接口状态轮询(二)
前端·php·接口
大橙子额5 小时前
【解决报错】Cannot assign to read only property ‘exports‘ of object ‘#<Object>‘
前端·javascript·vue.js
vx_biyesheji00016 小时前
豆瓣电影推荐系统 | Python Django 协同过滤 Echarts可视化 深度学习 大数据 毕业设计源码
大数据·爬虫·python·深度学习·django·毕业设计·echarts
深蓝电商API6 小时前
爬虫IP封禁后的自动切换与检测机制
爬虫·python
爱喝白开水a7 小时前
前端AI自动化测试:brower-use调研让大模型帮你做网页交互与测试
前端·人工智能·大模型·prompt·交互·agent·rag
董世昌417 小时前
深度解析ES6 Set与Map:相同点、核心差异及实战选型
前端·javascript·es6
吃杠碰小鸡8 小时前
高中数学-数列-导数证明
前端·数学·算法
kingwebo'sZone8 小时前
C#使用Aspose.Words把 word转成图片
前端·c#·word