在 Node.js 中使用 axios 配置代理并实现图片并发下载

文章目录

一、创建 Axios 实例

可以创建一个 axiosConfig.ts 文件用于创建和更新相关实例:

js 复制代码
// server/utils/axiosConfig.ts
const axios = require("axios");
const { HttpsProxyAgent } = require('https-proxy-agent');

// axios 实例
let axiosInstance = null;

// 代理表单(可以从数据库读取相关配置)
let proxyParams = { 
    state: true, 
    host: "127.0.0.1", 
    port: 10809, 
    protocol: "http", 
    username: "", 
    password: ""
};

// 创建 axios 实例 
const createAxiosInstance = () =>  {

    // 判断是否开启代理
    const useProxy = proxyParams['state'] == true;

    let axiosConfig = {
        timeout: 5000
    };

    // 启用代理服务
    if (useProxy && proxyParams) {
        const agent = new HttpsProxyAgent({
            host: proxyParams.host,
            port: proxyParams.port,
            protocol: proxyParams.protocol,
        });
        axiosConfig['httpsAgent'] = agent;
    }
    // 代理服务器 用户名、密码
    if (useProxy && proxyParams['username'] && proxyParams['password']) {
        axiosConfig['auth'] = {
            username: proxyParams['username'],
            password: proxyParams['password']
        };
    }
    axiosInstance = axios.create(axiosConfig);
}

// 获取 Axios 实例
const getAxiosInstance = () => {
    if (!axiosInstance) {
        createAxiosInstance();
    }
    return axiosInstance;
}

// 更新 Axios 实例
const updateAxiosInstance = () => {
    createAxiosInstance();
}

module.exports = {
    getAxiosInstance,
    updateAxiosInstance
};

代理相关配置可以以字符串的方式先存储在数据库中,再根据需要读取和修改以实现动态更新代理配置:

js 复制代码
const { getSettingCache } = require("../db/SettingManager.ts");

const createAxiosInstance = () => {
    // 获取配置信息
    const settingCache = getSettingCache();

    // 判断是否开启代理
    const proxyParams = settingCache["proxy"] ? JSON.parse(settingCache["proxy"]) : null;
    // {
    //   proxy: '{"state":true,"host":"127.0.0.1","port":10809,"protocol":"http","username":"","password":""}',
    // }
}

二、图片并发下载

此处使用 p-limit 来控制并发数量:

yarn add p-limit

创建一个 downloadImages.ts 文件用来处理图片下载相关方法:

js 复制代码
// server/utils/downloadImages.ts
const { getAxiosInstance } = require('../utils/axiosConfig.ts');
const path = require("path");
const fs = require("fs");

const downloadImagesByUrls = async (imageUrls, savePath) => {
    // 为避免出现循环导入,此处使用动态导入
    const pLimit = (await import('p-limit')).default;
    // 提取 url 中的文件名 例:xxx.jpg
    const filenames = imageUrls.map((url) => path.basename(url));

    // 判断是否存在目标文件夹,不存在则创建
    if (!fs.existsSync(savePath)) {
        fs.mkdirSync(savePath, { recursive: true });
    }

    // 下载单个图片的函数
    const downloadImage = async (url, filename) => {
        // 拼接文件路径
        const fullPath = path.join(savePath, filename);
        try {
            // 获取 axios 实例
            const axiosInstance = await getAxiosInstance();
            const response = await axiosInstance({
                method: "get",
                url: url,
                responseType: "stream",
            });
            const writer = await fs.createWriteStream(fullPath);

            // 用Promise包装stream完成事件
            return new Promise((resolve, reject) => {
                response.data.pipe(writer);
                writer.on("finish", () => resolve({ filename, success: true }));
                writer.on("error", (err) => reject({ filename, success: false, error: err.message }));
                response.data.on("error", (err) => reject({ filename, success: false, error: err.message }));
            });
        } catch (error) {
            return { filename, success: false, error: error.message };
        }
    };

    // 并发控制
    const limit = pLimit(5);

    // 创建下载任务
    const tasks = imageUrls.map((url, index) => 
        limit(() => downloadImage(url, filenames[index]))
    );

    // 执行下载任务并等待所有任务完成
    const results = await Promise.all(tasks);

    return results;
};

module.exports = {
    downloadImagesByUrls,
};

代码说明: 该方法可直接复制使用,需要传递两个参数,imageUrls 参数为需要下载的图片列表,是一个存储了图片下载链接的数组,例:['http://xxx','http://xxx'],第二个参数是 savePath ,即文件保存路径,例:D:/Desktop,函数会提取文件名称进行路径的拼接,如果路径不存在则会自动创建。

三、参考资料

相关推荐
sanguine__几秒前
java学习-集合
学习
lxlyhwl几秒前
【STK学习】part2-星座-目标可见性与覆盖性分析
学习
nbsaas-boot1 分钟前
如何利用ChatGPT加速开发与学习:以BPMN编辑器为例
学习·chatgpt·编辑器
dr李四维4 分钟前
iOS构建版本以及Hbuilder打iOS的ipa包全流程
前端·笔记·ios·产品运营·产品经理·xcode
CV学术叫叫兽41 分钟前
一站式学习:害虫识别与分类图像分割
学习·分类·数据挖掘
我们的五年1 小时前
【Linux课程学习】:进程程序替换,execl,execv,execlp,execvp,execve,execle,execvpe函数
linux·c++·学习
酷酷的威朗普1 小时前
医院绩效考核系统
javascript·css·vue.js·typescript·node.js·echarts·html5
一棵开花的树,枝芽无限靠近你1 小时前
【PPTist】添加PPT模版
前端·学习·编辑器·html
VertexGeek2 小时前
Rust学习(八):异常处理和宏编程:
学习·算法·rust
二进制_博客2 小时前
Flink学习连载文章4-flink中的各种转换操作
大数据·学习·flink