Node.js 异步并发控制：`p-map` 和 `p-limit` 的使用与对比

在 Node.js 中，处理异步任务是开发中非常常见的需求。无论是批量处理数据、调用外部 API，还是操作文件系统，我们经常需要对多个异步任务进行管理。然而，当任务数量较多时，如果不加以控制，并发可能会导致性能问题甚至崩溃。为了更好地管理异步任务的并发，社区提供了两个非常流行的工具库：p-map 和 p-limit。

本文将详细介绍这两个工具库的功能、用法以及它们之间的区别，并通过实际代码示例帮助你理解如何选择合适的工具来满足你的需求。

---

1. 什么是 p-map？

核心功能

p-map 是一个用于对数组中的每个元素执行异步操作的工具库。它的主要特点是：

• 提供了类似于 Array.prototype.map() 的 API。
• 内置并发控制，允许你限制同时运行的任务数量。
• 支持灵活的错误处理机制。

基本用法

const pMap = require('p-map');

async function main() {
    const numbers = [1, 2, 3, 4, 5];

    const results = await pMap(numbers, async (num) => {
        return num * 2; // 模拟异步操作
    }, { concurrency: 2 }); // 并发数为 2

    console.log(results); // 输出: [2, 4, 6, 8, 10]
}

main();

在这个例子中，pMap 对数组 [1, 2, 3, 4, 5] 中的每个元素执行了异步操作（乘以 2），并且并发数限制为 2。

---

错误处理

p-map 提供了一个非常有用的选项 stopOnError，用于控制在遇到错误时是否停止后续任务的执行。

默认行为（stopOnError: true）

如果某个任务失败，p-map 会立即停止并抛出错误。

const pMap = require('p-map');

async function main() {
    const numbers = [1, 2, 3, 4, 5];

    try {
        const results = await pMap(numbers, async (num) => {
            if (num === 3) {
                throw new Error('Error on number 3');
            }
            return num * 2;
        }, { concurrency: 2 });

        console.log(results);
    } catch (error) {
        console.error('Caught error:', error.message); // 输出: Caught error: Error on number 3
    }
}

main();

忽略错误（stopOnError: false）

即使某个任务失败，p-map 也会继续执行剩余的任务。失败的任务会返回 undefined。

const pMap = require('p-map');

async function main() {
    const numbers = [1, 2, 3, 4, 5];

    const results = await pMap(numbers, async (num) => {
        if (num === 3) {
            throw new Error('Error on number 3');
        }
        return num * 2;
    }, { concurrency: 2, stopOnError: false });

    console.log(results); // 输出: [2, 4, undefined, 8, 10]
}

main();

自定义错误处理

你可以通过 try-catch 捕获错误，并根据需要返回默认值或记录日志。

const pMap = require('p-map');

async function main() {
    const numbers = [1, 2, 3, 4, 5];

    const results = await pMap(numbers, async (num) => {
        try {
            if (num === 3) {
                throw new Error('Error on number 3');
            }
            return num * 2;
        } catch (error) {
            console.error(`Task failed for number ${num}:`, error.message);
            return null; // 返回一个默认值
        }
    }, { concurrency: 2 });

    console.log(results); // 输出: [2, 4, null, 8, 10]
}

main();

---

2. 什么是 p-limit？

核心功能

p-limit 是一个更通用的并发控制工具，它允许你创建一个并发限制器，用于控制任意异步任务的并发数。与 p-map 不同，p-limit 不局限于数组操作，适用于任何需要并发控制的异步任务。

基本用法

const pLimit = require('p-limit');

async function main() {
    const limit = pLimit(2); // 并发数为 2

    const tasks = [
        limit(() => fetchSomething('task1')),
        limit(() => fetchSomething('task2')),
        limit(() => fetchSomething('task3')),
        limit(() => fetchSomething('task4'))
    ];

    const results = await Promise.all(tasks);
    console.log(results);
}

async function fetchSomething(name) {
    console.log(`Fetching ${name}`);
    // 模拟异步操作
    return new Promise(resolve => setTimeout(() => resolve(name), 1000));
}

main();

在这个例子中，p-limit 创建了一个并发限制器，限制了同时运行的任务数量为 2。

---

优点

• 灵活性高：不局限于数组映射，可以用于任何异步任务。
• 手动控制任务：你可以根据需要动态地添加任务，并且可以将任务分组或按需执行。
• 适合复杂场景 ：例如，当你需要从不同的数据源获取数据并限制并发时，p-limit 更加适合。

---

3. p-map vs p-limit

特性	p-map	p-limit
核心功能	对数组进行异步映射	控制任意异步任务的并发数
适用场景	数组映射、批量处理异步任务	复杂任务队列、动态任务管理
并发控制	内置并发控制（通过 concurrency 参数）	手动创建并发限制器
错误处理	内置错误处理（通过 stopOnError 参数）	需要手动处理错误
灵活性	专注于数组映射，灵活性较低	高度灵活，适用于各种异步任务
API 简洁性	API 简洁，易于使用	API 较为底层，需要手动包装任务

---

4. 如何选择？

使用 p-map 的场景

• 当你需要对一个数组进行异步映射操作时。
• 当你希望自动管理并发数，并且不需要手动控制任务队列时。
• 当你需要简单的错误处理机制（如 stopOnError）。

示例场景：

• 批量下载文件列表。
• 对数据库中的记录进行批量更新。

使用 p-limit 的场景

• 当你需要对多个异步任务进行并发控制，但这些任务并不一定来自数组。
• 当你需要手动管理任务队列，或者任务是动态生成的。
• 当你需要更高的灵活性来处理复杂的异步任务。

示例场景：

• 从多个 API 获取数据，并限制并发请求数。
• 动态生成任务并逐步执行。

---

5. 结合使用

在某些情况下，你可以结合使用 p-map 和 p-limit。例如，你可以使用 p-limit 来创建一个并发限制器，然后将其与 p-map 结合使用。

const pMap = require('p-map');
const pLimit = require('p-limit');

async function main() {
    const limit = pLimit(2); // 并发数为 2
    const numbers = [1, 2, 3, 4, 5];

    const results = await pMap(numbers, (num) => 
        limit(() => asyncOperation(num))
    );

    console.log(results);
}

async function asyncOperation(num) {
    // 模拟异步操作
    return new Promise(resolve => setTimeout(() => resolve(num * 2), 1000));
}

main();

---

总结

• 如果你的需求是对数组进行异步映射操作，p-map 是更好的选择，因为它提供了简洁的 API 和内置的并发控制。
• 如果你需要更灵活的任务管理，或者任务不是来自数组，p-limit 是更合适的选择，它提供了更高的灵活性和并发控制能力。

根据具体的需求选择合适的工具，可以让代码更加简洁和高效！