使用 request 和 cheerio 库来发送 HTTP 请求

qq^^6141368092023-11-16 15:40

首先，我们需要导入所需的库。在这个例子中，我们将使用 request 和 cheerio 库来发送 HTTP 请求和解析 HTML。

typescript 复制代码

import request from 'request';
import cheerio from 'cheerio';

然后，我们需要定义一个函数来发送请求并解析响应。

typescript 复制代码

function getHtml(url: string, proxyHost: string, proxyPort: number)
      {
    request({url: url, proxy: {host: proxyHost, port: proxyPort}}, (error, response, body) => {
        if (error) {
            console.error('Error:', error);
            return;
        }
        const $ = cheerio.load(body);
        // 这里将解析后的 HTML 保存在变量中，我们可以在下面的代码中使用它
    });
}

在这个函数中，我们使用 request 库发送一个 HTTP GET 请求到指定的 URL，并使用指定的代理信息。如果请求成功，我们使用 cheerio 库解析响应的 HTML。如果请求失败或解析失败，我们将打印错误信息。

这就是使用 TypeScript 编写一个爬虫程序的基本步骤。请注意，这只是一个非常基础的示例，实际的爬虫程序可能需要处理更复杂的情况，如处理反爬虫策略、处理 cookies 和 session、保存和处理数据等。