有一个采集数据的需求,分析了页面数据后发现列表有一个id,但是没有其他数据,打开详情并不是通过id,而是其他一个字段,这就说明通过selenium抓取页面数据还不行,还要接口返回的数据。这个时候就需要用到代理了,在代理层面把数据拦截下来,把自己想要的接口数据保存起来,然后通过页面找到的id去匹配找到详情需要的字段。大致意思就是接口列表返回的数据有id也有详情的字段,但是html里面只有id,所以要把接口数据也存起来,然后根据id找到列表对应的详情字段。
代码如下:
csharp
static async Task Main(string[] args)
{
var proxyServer = new ProxyServer();
proxyServer.AddEndPoint(new ExplicitProxyEndPoint(System.Net.IPAddress.Any, 8000, true)); // 8000为端口
proxyServer.Start();
var proxy = new Proxy
{
HttpProxy = "127.0.0.1:8000",
SslProxy = "127.0.0.1:8000"
};
var chromeOptions = new ChromeOptions();
chromeOptions.Proxy = proxy;
chromeOptions.AddArgument("--headless"); // 启用无头模式
chromeOptions.AddArgument("--no-sandbox"); // 可选,适用于某些环境
chromeOptions.AddArgument("--disable-dev-shm-usage"); // 可选,适用于某些环
using (var driver = new ChromeDriver( chromeOptions))
{
//proxyServer.BeforeRequest+=//返送前的请求request也会在这里拦截
proxyServer.BeforeResponse += async (sender, e) =>//返回的请求都会在这里拦截
{
// 检查响应的 Content-Type
if (e.HttpClient.Request.Url.Contains("/xxxx") && e.HttpClient.Request.Method == "POST")
{
Rootobject rootobject = JsonSerializer.Deserialize<Rootobject>(await e.GetResponseBodyAsString());
if (rootobject.data.List != null)
{
foreach (var item in rootobject.data.List)
{
Console.WriteLine($"tid:{item.tid}");
}
}
}
};
driver.Navigate().GoToUrl("https://domain.com");
Thread.Sleep(1000);
driver.FindElement(By.XPath("/html/body/div/div/div/section/div[3]/div[2]/div/div[1]/img")).Click();
}
proxyServer.Stop();
Console.ReadKey();
}
其实也可以直接请求接口,但是直接请求接口的话参数要搞清楚怎么传,这里选择了selenium主要是为了方便,不需要去研究请求参数也不用担心参数变动。selenium本身是支持代理请求的,我们只需要启动一个代理服务器,把代理服务器的地址给到selenium就可以了,这篇文章的代码逻辑也是如此。