Selenium + Titanium代理获取请求的接口数据

有一个采集数据的需求,分析了页面数据后发现列表有一个id,但是没有其他数据,打开详情并不是通过id,而是其他一个字段,这就说明通过selenium抓取页面数据还不行,还要接口返回的数据。这个时候就需要用到代理了,在代理层面把数据拦截下来,把自己想要的接口数据保存起来,然后通过页面找到的id去匹配找到详情需要的字段。大致意思就是接口列表返回的数据有id也有详情的字段,但是html里面只有id,所以要把接口数据也存起来,然后根据id找到列表对应的详情字段。

代码如下:

csharp 复制代码
static async Task Main(string[] args)
{
    var proxyServer = new ProxyServer();
    proxyServer.AddEndPoint(new ExplicitProxyEndPoint(System.Net.IPAddress.Any, 8000, true)); // 8000为端口
    proxyServer.Start();

    var proxy = new Proxy
    {
        HttpProxy = "127.0.0.1:8000",
        SslProxy = "127.0.0.1:8000"
    };

    var chromeOptions = new ChromeOptions();
    chromeOptions.Proxy = proxy;
    chromeOptions.AddArgument("--headless"); // 启用无头模式
    chromeOptions.AddArgument("--no-sandbox"); // 可选,适用于某些环境
    chromeOptions.AddArgument("--disable-dev-shm-usage"); // 可选,适用于某些环
    using (var driver = new ChromeDriver( chromeOptions))
    {
        //proxyServer.BeforeRequest+=//返送前的请求request也会在这里拦截
        proxyServer.BeforeResponse += async (sender, e) =>//返回的请求都会在这里拦截
        {
            // 检查响应的 Content-Type
            if (e.HttpClient.Request.Url.Contains("/xxxx") && e.HttpClient.Request.Method == "POST")
            {

                Rootobject rootobject = JsonSerializer.Deserialize<Rootobject>(await e.GetResponseBodyAsString());
                if (rootobject.data.List != null)
                { 
                    foreach (var item in rootobject.data.List)
                    {   
                        Console.WriteLine($"tid:{item.tid}"); 
                    }
                }
            }
        };

        driver.Navigate().GoToUrl("https://domain.com");
        Thread.Sleep(1000);
        driver.FindElement(By.XPath("/html/body/div/div/div/section/div[3]/div[2]/div/div[1]/img")).Click();
    } 
    proxyServer.Stop();
    Console.ReadKey();
}

其实也可以直接请求接口,但是直接请求接口的话参数要搞清楚怎么传,这里选择了selenium主要是为了方便,不需要去研究请求参数也不用担心参数变动。selenium本身是支持代理请求的,我们只需要启动一个代理服务器,把代理服务器的地址给到selenium就可以了,这篇文章的代码逻辑也是如此。

相关推荐
梯度下降者17 小时前
解决Chrome路径错误问题
chrome·selenium·解决方案·webdriverexception·路径错误
屿华AI2 天前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具
屿华AI3 天前
AUTOSAR 实战-诊断工具 | UDS 0x27 安全访问的配置化实现:种子密钥算法插件化设计
python·测试工具·汽车
屿华AI4 天前
AUTOSAR 实战-诊断工具 | DTC/Event/FiM 故障报告自动化:DEM 诊断数据采集与解析
python·测试工具·自动化·汽车
屿华AI4 天前
AUTOSAR 实战-诊断工具 | 基于 Python 与 USB-CANFD 的 UDS 诊断测试工具设计与实现
开发语言·python·测试工具
ClouGence4 天前
自动化测试定位不到元素怎么办?
selenium·低代码·测试
火云代理7 天前
同一个网站,有的网络能打开、有的打不开?认识 IPv4 与 IPv6 的访问差异
服务器·网络·网络协议·tcp/ip·测试工具·php·状态模式
freejackman11 天前
【工程化】从“单兵作战”到“多引擎架构”:基于门面模式的重构实战
大数据·数据库·hive·sql·测试工具·设计模式·架构
坐吃山猪11 天前
Python22-PostMan调试MCP
测试工具·postman·mcp
测试界的小码农12 天前
【 AI Agent 软件测试实战(05):任务规划与状态管理,让 Agent 学会拆解复杂测试任务】
人工智能·测试工具