使用Selenium进行网页自动化测试

在使用Selenium进行网页自动化测试时，获取网络请求数据（即network数据）并不直接由Selenium库提供。Selenium主要用于与网页内容进行交互（如点击、输入文本、获取页面元素等），但它本身不拦截或记录网络请求。

然而，你可以结合Selenium与其他工具（如BrowserMob Proxy、Wireshark、mitmproxy、或Selenium自带的Chrome DevTools Protocol）来获取网络请求数据。下面是一些常用的方法：

方法一：使用BrowserMob Proxy

BrowserMob Proxy是一个Java程序，可以与Selenium配合使用来捕获HTTP和HTTPS流量。

安装BrowserMob Proxy：
- 下载并安装Java。
- 下载BrowserMob Proxy。
设置Python代码：
- 使用browsermob-proxy-py库（Python的BrowserMob Proxy绑定）。

bash 复制代码

pip install browsermob-proxy-py

python 复制代码

from selenium import webdriver
from browsermobproxy import Server
from selenium.webdriver.common.proxy import Proxy, ProxyType

# 启动BrowserMob Proxy服务器
server = Server("/path/to/browsermob-proxy")
server.start()
proxy = server.create_proxy()

# Selenium的Proxy配置
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--proxy-server={0}".format(proxy.proxy))

# 创建一个Selenium WebDriver实例
driver = webdriver.Chrome(chrome_options=chrome_options)

# 获取新会话的HAR（HTTP Archive）数据
proxy.new_har("example")

# 导航到目标URL
driver.get("http://example.com")

# 获取HAR数据
har_data = proxy.har

# 打印HAR数据
print(har_data)

# 关闭WebDriver和BrowserMob Proxy服务器
driver.quit()
server.stop()

方法二：使用mitmproxy

mitmproxy是一个强大的中间人代理，可以拦截、修改和检查HTTP和HTTPS流量。

安装mitmproxy：
bash 复制代码
```
pip install mitmproxy
```
设置mitmproxy与Selenium：

python 复制代码

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from mitmproxy import options
from mitmproxy.tools.dump import DumpMaster
from mitmproxy import http

# 配置mitmproxy监听端口
options = options.Options(listen_host='127.0.0.1', listen_port=8080)

# 定义处理HTTP请求的类
class Interceptor:
    def __init__(self):
        self.flows = []

    def request(self, flow: http.HTTPFlow) -> None:
        self.flows.append(flow)

# 启动mitmproxy
m = DumpMaster(options)
interceptor = Interceptor()
m.addons.add(interceptor)
try:
    m.run()
except KeyboardInterrupt:
    m.shutdown()

# 配置Selenium的Proxy
proxy = Proxy({
    'proxyType': ProxyType.MANUAL,
    'httpProxy': '127.0.0.1:8080',
    'sslProxy': '127.0.0.1:8080'
})

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--proxy-server=http://127.0.0.1:8080")

# 创建一个Selenium WebDriver实例
driver = webdriver.Chrome(chrome_options=chrome_options)

# 导航到目标URL
driver.get("http://example.com")

# 获取捕获的HTTP请求
for flow in interceptor.flows:
    print(flow.request.url)

# 关闭WebDriver
driver.quit()

注意：运行mitmproxy可能需要你配置证书以捕获HTTPS流量。

方法三：使用Chrome DevTools Protocol（CDP）

Chrome DevTools Protocol允许你与Chrome浏览器进行低级别的通信，包括获取网络请求数据。Selenium 4+提供了对CDP的直接支持。

python 复制代码

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time

# 配置Chrome选项
chrome_options = Options()
chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")  # 连接到已打开的Chrome实例

# 创建WebDriver实例
driver = webdriver.Chrome(service=Service(), options=chrome_options)

# 导航到目标URL
driver.get("http://example.com")

# 使用CDP获取网络请求数据
# 需要导入CDP的库或使用selenium的execute_cdp_cmd方法
# 示例代码取决于你如何配置和获取CDP数据
# driver.execute_cdp_cmd('Network.enable', {})
# driver.execute_cdp_cmd('Network.setCaptureMode', {"mode": "includeAll"})
# network_logs = driver.execute_cdp_cmd('Network.getAllRequests', {})
# print(network_logs)

# 这里仅是一个示例，你需要根据CDP文档来实现具体功能

# 关闭WebDriver
driver.quit()

这种方法要求你事先手动打开Chrome浏览器并配置远程调试端口（通常是9222）。

注意事项

确保你的Chrome浏览器版本与Selenium WebDriver版本兼容。
使用HTTPS时，可能需要处理SSL证书问题。
在处理网络请求数据时，确保遵守相关法律法规和隐私政策。

通过以上方法，你可以在使用Selenium进行网页自动化测试时获取网络请求数据。