selenium 获取请求响应信息,包括请求的响应头和响应体

在我们使用selenium请求网页时,有时不想从浏览器解析后的html标签获取数据,如果能直接获取url返回的json格式数据会更容易解析。就像request和scrapy爬虫返回的响应数据一样。那么,我们用selenium应该怎么做呢?

selenium并不支持获取响应的数据,我们可以使用selenium-wire库,selenium-wire扩展了 Selenium 的 Python 绑定,可以访问浏览器发出的底层请求。 编写的代码与 Selenium 的方式相同。

  • 安装selenium-wire库:

    pip install selenium-wire

  • 修改引入方式

    from selenium import webdriver

    from seleniumwire import webdriver

  • 获取网络响应的内容,也就是如图部分的url响应:

    driver.requests

  • 解析返回的响应头
复制代码
driver.requests返回的是一个列表,遍历每个url来获取想要的url响应信息。一下示例演示如果获取指定url的请求头,获取到的请求头可以直接使用request发送请求。
复制代码
# 提取接口的请求信息
get_conver_header = {}
get_conver_url = ""
for request in driver.requests:
    if "https://coXXX.com/api/" in request.url:
        get_conver_url = request.url
        for header_key in request.headers:
            get_conver_header[header_key] = request.headers[header_key]
        break
  • 获取返回响应体

    from io import BytesIO
    import gzip

    清空之前获取的请求信息

    del driver.requests

    获取响应体的内容数据

    rp_body = driver.requests[0].response.body

    获取到的编码为byte数据,需要解码为utf-8,直接解码会报错

    UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

    print输出的字节码是以"b'\x1f\x8b\x08"开头的,说明它是gzip压缩过的数据,所以我们要对字节码进行一个解码操作

    buff = BytesIO(rp_body)
    f = gzip.GzipFile(fileobj=buff)
    htmls = f.read().decode('utf-8')
    print(htmls)

相关推荐
菜鸟~noob23332 分钟前
[AI]间章:系列走到这里,聊聊后面的规划、造卡需要的软件平台,以及为什么我要先暂停更新
人工智能·python·fpga开发·django·pygame
TomEval10 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
prince_zxill11 小时前
PEP 751 pylock.toml 实测:pip 26.3 装 6 个包版本全钉死,但 [web] 选不中任何东西
python·pip·依赖管理·pep 751
Thanks_ks12 小时前
Python 的垃圾回收——引用计数撑起日常,分代回收收拾残局
python·内存管理·垃圾回收·循环引用·引用计数·gc 模块·weakref
CyrusYiVPP12 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
屿华AI13 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具
yiangL_13 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数
笔记·python·学习
lula88814 小时前
PVC-U、PVC-C、PVC-O 差一个字母,差的是三种增强路线
python
数字工作台15 小时前
给 LangGraph 加一道可审计记忆:替换默认 Checkpointer,实现防篡改 + 崩溃不丢数据
python·agent
DKPT15 小时前
Python 的 Web 框架:选型选错的人,都踩了同一个坑
python