Node.js 编程实战：CSV&JSON &Excel 数据处理

在实际业务开发中，数据往往以多种文件格式存在，例如 CSV、JSON 和 Excel。这些格式广泛应用于数据导入导出、报表生成、系统对接以及批量处理任务中。Node.js 凭借丰富的第三方库和良好的异步能力，非常适合进行各类结构化数据的处理。

一、常见数据格式概述

CSV、JSON 和 Excel 各自适用于不同的场景。CSV 结构简单、体积小，适合数据交换和批量导入；JSON 结构清晰，与 JavaScript 原生对象高度兼容，常用于接口和配置；Excel 则更适合人工查看和复杂表格管理。

在 Node.js 中处理这些格式，通常需要借助第三方库来提升开发效率和稳定性。

二、JSON 数据处理

1. 读取 JSON 文件

JSON 是 Node.js 中最常用的数据格式之一，可以直接解析为 JavaScript 对象。

js 复制代码

const fs = require('fs');

const content = fs.readFileSync('data.json', 'utf-8');
const data = JSON.parse(content);

console.log(data);

对于体积较大的 JSON 文件，建议使用异步或流式读取，避免阻塞事件循环。

2. 写入 JSON 文件

在导出数据或生成配置文件时，常常需要将对象写入为 JSON 文件。

js 复制代码

const fs = require('fs');

const data = { name: 'Node.js', type: 'runtime' };

fs.writeFileSync(
  'output.json',
  JSON.stringify(data, null, 2),
  'utf-8'
);

通过格式化输出，可以让 JSON 文件更易读，方便后期维护。

三、CSV 数据处理

1. 读取 CSV 文件

CSV 本质是以逗号分隔的文本文件，推荐使用成熟的解析库进行处理。

js 复制代码

const fs = require('fs');
const csv = require('csv-parser');

fs.createReadStream('data.csv')
  .pipe(csv())
  .on('data', row => {
    console.log(row);
  })
  .on('end', () => {
    console.log('CSV 读取完成');
  });

这种流式解析方式适合处理大批量数据，内存占用较低。

2. 生成 CSV 文件

在数据导出场景中，通常需要将数据库或接口数据转换为 CSV 文件。

js 复制代码

const fs = require('fs');
const { stringify } = require('csv-stringify');

const records = [
  { name: 'Alice', age: 25 },
  { name: 'Bob', age: 30 }
];

stringify(records, { header: true }, (err, output) => {
  fs.writeFileSync('output.csv', output);
});

四、Excel 数据处理

1. 读取 Excel 文件

Excel 文件通常使用 xlsx 库进行处理，支持 .xls 和 .xlsx 格式。

js 复制代码

const XLSX = require('xlsx');

const workbook = XLSX.readFile('data.xlsx');
const sheetName = workbook.SheetNames[0];
const sheet = workbook.Sheets[sheetName];

const jsonData = XLSX.utils.sheet_to_json(sheet);
console.log(jsonData);

将 Excel 转换为 JSON 后，可以方便地进行后续数据清洗和存储。

2. 生成 Excel 文件

Node.js 也可以轻松生成 Excel 报表，用于业务导出或数据统计。

js 复制代码

const XLSX = require('xlsx');

const data = [
  { name: 'Node', score: 95 },
  { name: 'JavaScript', score: 90 }
];

const worksheet = XLSX.utils.json_to_sheet(data);
const workbook = XLSX.utils.book_new();

XLSX.utils.book_append_sheet(workbook, worksheet, 'Sheet1');
XLSX.writeFile(workbook, 'report.xlsx');

五、大数据量处理的优化思路

在处理大量 CSV 或 Excel 数据时，需要特别关注性能问题。一次性加载全部数据可能导致内存占用过高，甚至引发进程崩溃。此时应优先考虑流式处理、分批解析以及及时释放中间变量。

此外，数据处理过程中应尽量避免同步文件操作，将 CPU 密集型任务拆分，必要时可配合子进程或任务队列进行优化。

六、常见应用场景

Node.js 在数据文件处理方面的常见应用包括：

用户数据的批量导入与导出
Excel 报表自动生成
CSV 数据清洗与格式转换
JSON 配置与接口数据处理

通过合理选型工具和设计流程，可以显著提升开发效率。

七、总结

Node.js 对 CSV、JSON 和 Excel 的数据处理能力非常成熟，结合第三方库可以快速实现复杂的数据导入导出功能。在实际项目中，应根据数据规模和业务场景选择合适的处理方式，既保证性能，又兼顾代码的可维护性。