Selenium + Titanium代理获取请求的接口数据

有一个采集数据的需求,分析了页面数据后发现列表有一个id,但是没有其他数据,打开详情并不是通过id,而是其他一个字段,这就说明通过selenium抓取页面数据还不行,还要接口返回的数据。这个时候就需要用到代理了,在代理层面把数据拦截下来,把自己想要的接口数据保存起来,然后通过页面找到的id去匹配找到详情需要的字段。大致意思就是接口列表返回的数据有id也有详情的字段,但是html里面只有id,所以要把接口数据也存起来,然后根据id找到列表对应的详情字段。

代码如下:

csharp 复制代码
static async Task Main(string[] args)
{
    var proxyServer = new ProxyServer();
    proxyServer.AddEndPoint(new ExplicitProxyEndPoint(System.Net.IPAddress.Any, 8000, true)); // 8000为端口
    proxyServer.Start();

    var proxy = new Proxy
    {
        HttpProxy = "127.0.0.1:8000",
        SslProxy = "127.0.0.1:8000"
    };

    var chromeOptions = new ChromeOptions();
    chromeOptions.Proxy = proxy;
    chromeOptions.AddArgument("--headless"); // 启用无头模式
    chromeOptions.AddArgument("--no-sandbox"); // 可选,适用于某些环境
    chromeOptions.AddArgument("--disable-dev-shm-usage"); // 可选,适用于某些环
    using (var driver = new ChromeDriver( chromeOptions))
    {
        //proxyServer.BeforeRequest+=//返送前的请求request也会在这里拦截
        proxyServer.BeforeResponse += async (sender, e) =>//返回的请求都会在这里拦截
        {
            // 检查响应的 Content-Type
            if (e.HttpClient.Request.Url.Contains("/xxxx") && e.HttpClient.Request.Method == "POST")
            {

                Rootobject rootobject = JsonSerializer.Deserialize<Rootobject>(await e.GetResponseBodyAsString());
                if (rootobject.data.List != null)
                { 
                    foreach (var item in rootobject.data.List)
                    {   
                        Console.WriteLine($"tid:{item.tid}"); 
                    }
                }
            }
        };

        driver.Navigate().GoToUrl("https://domain.com");
        Thread.Sleep(1000);
        driver.FindElement(By.XPath("/html/body/div/div/div/section/div[3]/div[2]/div/div[1]/img")).Click();
    } 
    proxyServer.Stop();
    Console.ReadKey();
}

其实也可以直接请求接口,但是直接请求接口的话参数要搞清楚怎么传,这里选择了selenium主要是为了方便,不需要去研究请求参数也不用担心参数变动。selenium本身是支持代理请求的,我们只需要启动一个代理服务器,把代理服务器的地址给到selenium就可以了,这篇文章的代码逻辑也是如此。

相关推荐
明明跟你说过2 小时前
Linux中的【tcpdump】:深入介绍与实战使用
linux·运维·测试工具·tcpdump
惜.己14 小时前
Jmeter中的断言(二)
测试工具·jmeter·1024程序员节
互联网杂货铺19 小时前
自动化测试基础知识总结
自动化测试·软件测试·python·selenium·测试工具·职场和发展·测试用例
懒笑翻1 天前
Python 使用 Selenuim进行自动化点击入门,谷歌驱动,以百度为例
运维·selenium·自动化
go_to_hacker1 天前
容器安全检测和渗透测试工具
测试工具·安全
惜.己1 天前
Jmeter中的断言(四)
测试工具·jmeter·1024程序员节
半桶水专家1 天前
tcpdump抓取流量包详解
网络·测试工具·tcpdump
小流年 °1 天前
抓包工具Wireshark
网络·测试工具·wireshark
qq_433716951 天前
Selenium+Pytest自动化测试框架 ------ 禅道实战
自动化测试·软件测试·selenium·单元测试·pytest·接口测试·压力测试