爬虫playwright中的资源监听

采集图品该怎么办,资源监听了解一下,什么叫做资源,访问一个页面,是由多个部分组成的,加载一个最起初的框架,html文件,只能感知得到http,其他要打开开发者工具,如何把视频音频拿过来呢 ,搜一下script

找到里边引入了一个js文件,把他拿过来

这些文件被称为资源文件,监听的就是这些资源, 这个东西该怎么做,先用xpath提取网页资源,通过request来发送请求,先定义一个方法test_resources定义一个响应对象

还有一个问题,什么时候监听?是在访问页面之前进行监听

用page.on方法,交给定义的方法处理,并进行打印url, 补充如下,运行就能发现都能监听到了

现在要获取请求,就可以到响应里面处理

假设现在要获取图片,response.url是相应的,指请求已经发送过了

在网页上搜索,找到百度这张图片

然后搜索得到,判断是不是,是的话进行保存

注意最后·用response.body(字节数据)

注意代码要在加一个write写进去,然后在openin中的explorer中打开查看这张图片

要获取所有图片,就要修改response类型

然后看到这个图片的类型就是image/png,判断的时候就可以判断其他的url

相关推荐
自信的未来1 小时前
JSON 工具|Web Worker 工程化打包 + 语法自动修复 + 多语言代码生成实战
java·前端·json
全栈前端老曹1 小时前
【MongoDB】安全与权限管理 —— 用户认证、角色权限、SSL 加密
前端·javascript·数据库·安全·mongodb·nosql·ssl
zhangxingchao2 小时前
AI大模型核心八:从 Agent Skill、长文档 RAG 到知识库更新与训练策略
前端·人工智能·后端
zhangxingchao3 小时前
AI大模型核心七:从 Workflow、RAG、记忆治理到幂等性
前端·人工智能·后端
gyx_这个杀手不太冷静3 小时前
Agent开发进阶指南(第 1 章):AI Agent 到底是什么?
前端·agent·ai编程
小小小小宇4 小时前
模型相关知识
前端
小小小小宇4 小时前
模型相关知识二
前端
IT_陈寒4 小时前
Python装饰器竟然偷偷改了函数名?这个坑我爬了三天
前端·人工智能·后端
Momo__5 小时前
Vite 8.1 打包开发模式——10000 组件冷启动 15 倍,"No Bundle Dev" 七年后被自己终结
前端·vue.js·vite
YHL5 小时前
🤖 Agent 智能体开发实战 · 第一课:Tool Use —— 让大模型自动干活
前端·javascript·人工智能